- 推論の記録を読めれば、AIの行動だけを見るより逸脱を見つけやすい場合がある。
- 論文は介入、解法過程、結果の性質という3種類の評価を整え、真陽性率と真陰性率の積で比較する。
- 監視可能性は対象モデルと監視器、見せる情報、課題の組み合わせで決まる。
何を確かめた研究か
Monitoring Monitorabilityの原論文は、AIが出す推論の記録（chain of thought）から、問題になる行動を監視器が見つけられるかを調べる。推論の記録が内部計算を忠実に写すという主張ではない。対象の行動を識別するために記録が役立つか、という測定である。
論文は「監視可能性」を対象モデルと監視器の組み合わせに依存する性質として定義する。監視器の能力が違えば同じ記録でも結果は変わる。監視器が見る範囲も、推論の記録だけ、道具呼び出しと最終回答だけ、全出力などに分ける。
どう検証したか
第一に入力や環境へ介入し、行動が変わった理由を記録から追えるか測る。第二に数学・物理問題の既知の解法経路を記録で識別する。第三にテスト改変など、最終的な行動から性質を判定できる課題を使う。これらは同じ「安全性」を別名で測るものではなく、正解ラベルの作り方が異なる。
主指標g-mean2は真陽性率と真陰性率の積で、無作為に二択する監視器なら0.25になる。高い値でも、見逃しと誤警報がないとは限らない。解法過程の評価では負例を厳密に定められず、真陰性率を1に置く特殊な計算をする。図をまたいで評価セットが完全に同じとは限らない点にも注意がいる。
何が分かったか
図1では、推論の記録を見せた監視器が、行動と最終回答だけを見る監視器を上回る傾向があった。推論量と記録の長さが増えると監視可能性が高まる傾向も示す。ただし訓練時に記録を読みにくくする報酬を直接与えた試行では、監視可能性が低下した。低下を検出できたことは評価法に有用だが、論文自身が試行数・条件の限定を述べ、通常の訓練が必ず安全だと示すものではない。
追加質問は特定の課題では助けになるが、一般的な質問1回では改善がほぼなく、質問の設計や複数回の生成に費用がかかる。介入の種類によっては悪化も報告されている。
限界と仕事との接点
外部モデルとの比較にもOpenAIのモデルを監視器として使っており、同系列のモデルに有利な読み取り方が含まれる可能性がある。評価例の中には人工的に作った負例もあり、実運用の逸脱と分布が違う。監視を導入する際は、対象の行動、監視器、許容する誤警報、追加質問の費用を固定し、実際の業務記録で再評価する。最後はTRAIL編集部の提案である。