- 科学データの問題にAIが正答しても、その答えを渡されたデータから導いたとは限らない。
- 生物学の課題では、Claude Codeで動かした3モデルの平均正答率95%に対し、根拠の変更へ適切に追随した正答は41%だった。
- 対象は限られた課題であり、この差をAIによる研究全体の成功率とは読めない。
何を確かめた研究か
分析を任されたAIに質問とデータを渡し、答えが正解なら「データを分析できた」と判断してよいだろうか。答えを以前から知っていたり、選択肢を消去したりしても正答はできる。この論文は、科学エージェントの点数が、渡された根拠に従った結論を表しているかを問う。
研究チームは「根拠に基づく正答」を、元データで正答するだけでなく、答えの根拠を取り去れば反応し、根拠を別の選択肢へ反転させれば答えも変えること、と定義した。正解の文字が合ったかと、分析の根拠に追随したかを分けて測る発想だ。
たとえば、ある細胞を見分ける遺伝子を選ぶ問題で、その遺伝子の測定値をデータから消す。それでもAIが元の答えを出したら、別の知識や選択肢の消去法を使った可能性がある。測定値を別の遺伝子へ入れ替えた場合にも元の答えを保つなら、データを根拠にしたとは言いにくい。
どう検証したか
対象は、単一細胞のデータを使うBAISBenchの18問と、合成データを使うGeneBench-Proの4問。元データに加え、答えに必要な情報を消した版、別の答えを支持するよう変えた版、並び順だけを変えた版を作った。変更が意図通りになったことは、あらかじめ決めた統計量で確認した。
Claude Code、Codex CLI、Biomniという実行の仕組みに複数のモデルを組み合わせて試した。Claude CodeとCodex CLIの組み合わせは各条件を3回ずつ実行した。各実行は新しい隔離環境で始め、Web検索は使わせていない。元の正答との一致、データを渡さない場合の正答、変更後の根拠への反応を比較した。
並び順だけを変えた版は対照条件だ。意味が変わらない編集でも答えが揺れるなら、根拠を消した後の変化をすべて「データを読んだ結果」とは解釈できない。研究チームは、通常の再実行による揺れとこの対照条件も比べている。
何が分かったか
単一細胞の18問で、Claude Codeで動かした3モデルは元データを渡すと平均95%正答した。一方、データなしでも83%正答した。根拠を取り去った場合に答えを変えるか不足を示し、反転した場合にも追随する「根拠に基づく正答」は41%だった。高い正答率だけでは、渡した資料を使ったと証明できない。
遺伝子名を意味のない識別子に置き換えた10問では、反転した根拠に沿う割合が58%から93%へ上がった。データを使わずに答えられる割合は87%から27%へ下がった。研究チームは、既知の遺伝子名に関する知識が、新しいデータとの競合を生んでいた可能性を示す。ただし、名前の置換は他の意味情報も消すため、原因を一つに確定する実験ではない。
限界は何か
元データでの正答率と41%という値は、生物学の18問と特定のエージェントの条件に限る。4問の合成課題は別に扱われ、同じ割合に混ぜられていない。論文自身も、計算費用の制約から課題数と反復回数が限られ、Biomniは1回ずつと記す。根拠を変えたときに応答が変わることは、科学研究の質を保証する十分条件でもない。
仕事との接点
社内データを分析するAIを試す際には、正解例を当てるだけでなく、入力を意図的に変えて結論が追随するかを確かめたい。元の正解を暗記しやすい課題なら、データを渡さない条件も置く。これは論文の評価方法を実務へ応用するTRAIL編集部の提案であり、論文は一般的な企業データでの成績を測っていない。