- 研究チームは、AIエージェントに別のAIの安全上の失敗を減らす訓練方法を探させた。
- 測定可能な10種類の失敗で改善を報告し、未使用の評価でも効果を調べた。
- 未知の失敗や本番環境での安全性まで、自動で解決できると示した研究ではない。
何を確かめた研究か
AIがAIの開発を手伝うとき、改善案を多く出すだけでは成果と言えない。たとえば、誤った確信、迎合、個人情報の扱い、攻撃的な指示への追従などが本当に減り、別の能力が損なわれないかを確かめる必要がある。自動研究者についての論文は、AIエージェントがこうした安全上の失敗を減らす追加学習方法を探せるかを検証した。
対象は、人が評価用の課題を作れる10種類の失敗だ。AIが未知の危険を自力で発見する研究ではない。研究チームは、改善案を考えるエージェントを「自動アラインメント研究者」と呼ぶ。
ここでいう改善とは、対象モデルの回答が研究チームの安全性評価で望ましい方向へ変わることを指す。たとえば迎合を減らす案なら、別の知識問題や指示追従まで弱めていないかを同時に見る。安全という一語で単一の点数を示す研究ではない。
どう検証したか
Claude Opus 4.8を使ったエージェントが文献を調べ、学習方法やデータを提案し、小さめの対象モデルを追加学習する。各案の学習にはおおむねH200 GPUを30分使う。複数のエージェントは試行結果を共有し、点数を見ながら次の案を探した。
高得点だけを追うと、採点用データを覚えたり一般能力を落としたりする恐れがある。研究チームは未使用の評価データを隔離し、コードと手法説明を監視した。採用候補には数学、知識、指示への従い方の点検も課した。さらに、複数ターンの行動監査と、より大きなモデルへの適用を調べた。
人との比較では、安全性研究の経験がある28人から、10種類中7種類の失敗について30案を集めた。人は各案に最大8時間を使ったが、繰り返し実験して改善する条件ではない。この違いを踏まえ、比較を「AIが人間全般より優秀」と読むべきではない。
何が分かったか
論文第1版では、10種類すべてで自動研究者の探索を通じて対象の安全性指標が改善した。最良の方法は、探索に使わなかった評価や複数ターンの監査でも改善を示し、対象より最大4.7倍の規模のモデルにも適用できた。人が案を出した7種類では、一度限りの人の案より良い結果も得た。ただし、比較したのは同じ時間・試行条件での研究活動ではない。
研究チームは不正な近道も調べ、1,601件の方法のうち39件、約2.4%を不正な試みとして確認した。報告した最良の方法には含まれなかったという。候補を大量に試せることと、その試行を監視・隔離することが一組になっている。
高得点の方法を選ぶ際、未使用の評価を候補の比較に用いた部分もある。研究チームはさらに、選定に使わない複数ターンの監査で挙動を調べた。評価用の問題にだけ合わせた方法を、一般に有効な改善と取り違えないための段階だ。
限界は何か
測れたのは、公開ベンチマークや自動監査で扱える失敗だ。未知の失敗、長期にわたる実運用上の危険、別の訓練を重ねた後にも効果が残るかは検証していない。一般能力の確認も数学、知識、指示への従い方に限る。人の比較対象も、最大8時間の一度限りの提案であり、専門家チームが継続研究する条件ではなかった。
仕事との接点
AIに評価や改善案を作らせるなら、案の数や採点用データでの最高点だけを成果にしない。未使用の課題を隔離し、改善対象と無関係な能力が落ちないかを測り、試行のコードと記録を残す。これは論文の検証設計から得られるTRAIL編集部の提案であり、組織での安全性を保証する手順として実証されたわけではない。