- Constitutional AIは、人が用意した原則を使い、モデルが危険な応答を批評・改稿する手順を研究した。
- 改稿した応答を用いる教師あり段階と、AIが作る好みの比較を使う強化学習段階を組み合わせた。
- 「人のラベルを使わない」は害を示す個別ラベルについてであり、人の監督全体が不要という意味ではない。
何を確かめた研究か
対話モデルの有害な応答を減らすには、人が大量の不適切な出力を判定しなければならないのか。Constitutional AIの原論文は、人が示した原則のリストを手掛かりに、モデル自身の批評と修正、AIが付ける選好評価を使って応答を調整する方法を試した。著者らは、危険な依頼に対し、ただ会話を拒否するだけでなく、問題点を説明できるモデルを目指す。
「憲法」という呼び方は、この原則の集合を指す。規則の内容は人が選び、モデルの振る舞いを左右する。個別の有害出力へ人がラベルを付けないという実験条件を、人が安全性に関与しなくてよいという主張に拡大してはいけない。
どう検証したか
第一段階では初期モデルの応答を生成し、原則に照らして問題点を批評させ、修正した応答でモデルを教師あり微調整する。第二段階では複数の応答をAIに比較させ、その選好を学んだモデルを報酬信号として強化学習する。論文はこれをRLAIFと呼ぶ。人による有害度の判定を大量に集める従来の方法との違いは、判断を作る工程にある。
評価では、人が有用さと害の少なさを比べる。片方を良くしようとして、何でも断るモデルになっていないかも確認する。モデル自身の批評をそのまま最終評価とするわけではなく、人が比較した結果を含む。
比較の起点となるモデルは、役立つ応答を目指して人のフィードバックで調整されたものだった。論文が省こうとしたのは、害を示す個別の人手ラベルを大量に集める工程である。この区別を見落とすと、学習の全段階が人の判断から独立しているように誤解する。評価でも、人間の審査者が有用さと害の少なさを比べている。原則を書く人と、境界事例を判定する人の役割は残る。
何が分かったか
著者らは、原則を使った自己修正とAIの選好を組み合わせ、害を抑えつつ過度に回避しない応答が可能だと報告した。とくに有害な依頼へ問題点を説明して応じる例を示す。人が一件ずつ「有害」と付ける負担を減らす道として研究上の意味がある。
ただし、論文で報告した比較は著者らが設定したモデル、原則、評価質問、審査手順に依存する。原則を変えれば望ましい応答の境界も変わる。安全性は単一の数値で決まらない。
限界は何か
原則が曖昧だったり偏っていたりすれば、AIの批評と選好にもそれが表れる。AIが作る好みの比較は、人による独立した判断と同じではない。初期モデルの能力や先行する人のフィードバックも結果へ影響するため、「完全に人手なしで安全性を作った」とは読めない。
評価した危険な質問の集合から、全ての言語、文化、将来の攻撃に安全だとは証明できない。拒否しない応答が好まれても、実際の利用者への影響を個別に確認する必要がある。そのため、評価の際には、原則の適用に迷う質問を意図的に含める必要がある。
仕事との接点
組織でAIの応答規則を設計するなら、原則を具体的な例とともに記録し、役立つが危険ではない質問と、本当に拒否すべき質問を分けて評価する。境界事例は人が見直す。これはTRAIL編集部の提案であり、原論文が任意の組織に適用できる安全基準を完成させたものではない。