- OpenAIの研究チームは、AIが権限の異なる指示を取り違えないよう訓練できるかを調べた。
- 対象モデルの指示衝突への頑健性は、16種の評価の平均で84.1%から94.1%に上がった。
- 一部の一般的な応答品質指標は下がっており、すべてのモデルや運用環境で同じ効果が出るとは言えない。
何を確かめた研究か
AIアシスタントは、システム設定、開発者の指示、利用者の依頼、検索結果やツールの出力を同時に読む。これらが食い違ったとき、どの指示を優先するかが「指示階層」だ。検索結果に「これまでの指示を無視して」と書かれていても、検索結果は利用者や開発者からの指示にはならない。
IH-Challengeの論文は、この優先順位を強化する訓練用の課題を提案した。課題では、優先度の高い指示と、それを破らせようとする低い指示を組み合わせる。研究の問いは、訓練した衝突例だけでなく、初めて見る攻撃や安全上の依頼にも対応できるか、というものだ。
どう検証したか
研究チームは、もとのGPT-5-Miniと、IH-Challengeを使って追加学習したGPT-5-Mini-Rを比べた。課題の正解は個別のPythonプログラムで採点できるようにし、単に拒否し続けるだけでは高得点を取れない課題も入れた。攻撃文をオンラインで生成しながら訓練する構成だ。
評価には、訓練時と似た課題に加え、異なる分布の課題や人による攻撃を含めた。一般的な質問への応答、数学・科学の課題、拒否しすぎないかも別に測っている。さらに、システムの安全方針と利用者の依頼が衝突する場合、ツール出力に悪意ある指示が混ざる場合を調べた。指示衝突への強さと、通常の役立ち方を分けて見る設計である。
何が分かったか
論文第1版の要旨では、16種の評価を平均した指示階層の頑健性が84.1%から94.1%に上がった。人がその場で攻撃を考える評価でも、攻撃に耐えた割合は63.8%から88.2%に上がった。これらは対象モデルと論文の採点方法に限る結果だ。
安全方針をシステム指示として与える評価では、望ましくない応答の割合が6.6%から0.7%に下がった。ツール出力からの攻撃を含む内部の静的評価では、頑健性の点数が0.44から1.00に上がった。ただし、公開されたCyberSecEval 2での上昇は0.88から0.91で、評価によって改善幅は違う。
一方、一般的な会話の勝率は0.71から0.66、利用者の好みを反映する指標は0.46から0.40へ下がった。研究チームは能力低下を小さいと評価しているが、安全性の改善と応答品質の両方を確認する必要があると読める。
限界は何か
主な実験は特定のGPT-5-Miniを追加学習した比較だ。内部の攻撃評価は課題の全体を外部から検証できず、静的な攻撃で満点でも、変化する攻撃への無条件の安全を意味しない。異なる分布の評価にはAIによる採点を含む。論文は、公開データや評価手順を示しているが、実際のサービス上のすべての攻撃を測ってはいない。
仕事との接点
社内文書、Webページ、メールをAIに読ませるなら、それらの文章が本来の利用者指示を上書きしないかを試す価値がある。自社の道具と権限を使ったテストで、攻撃を防いだ割合だけでなく、通常の依頼を正しく完了できるかも見る。これは論文の評価軸を実務へ移すTRAIL編集部の提案であり、論文が企業での導入効果を測ったわけではない。