- Llama 2の論文は、基盤モデルと対話用に追加調整したLlama 2-Chatを分けて報告した。
- 事前学習の規模と対話向けの人手評価を示し、当時の複数のモデルと比べた。
- 対話の「役立ちやすさ」は評価プロンプトや判定者に左右され、安全性の保証とは異なる。
何を確かめた研究か
文章を続ける基盤モデルを、利用者との会話に使うには何を追加する必要があるのか。Llama 2の原論文は、事前学習したモデル群と、対話向けに調整したLlama 2-Chatを区別して記述する。モデルの公開自体だけでなく、指示への調整、人の評価、安全性の検討を含む研究報告である。
名前が似ていても、LLaMA初代の原論文とLlama 2は別の研究だ。また、同じLlama 2でも、基盤モデルの公開課題での得点を、そのままChat版の会話品質として読んではいけない。
どう検証したか
論文は70億、130億、700億パラメータを中心に、公開情報をもとにした文章で事前学習したモデルを報告する。表1では各モデルの事前学習を2兆トークン、文脈長を4096トークンと記す。事前学習後、Llama 2-Chatには指示に沿う回答例による調整と、人の好みを使った追加調整を行った。
評価は二段階で読む必要がある。基盤モデルは知識問題や文章予測などの公開課題で比較する。対話モデルは、単発と複数往復のプロンプトに対して、人が回答の役立ちやすさを比べた。安全性に関する評価も別に実施する。問いと指標が違うため、結果を一つの点数にまとめることはできない。
対話の人手評価では4000を超えるプロンプトを用い、比較回答ごとに複数の評価者が判断した。比較対象には当時のChatGPTやPaLMの特定版も含む。現在のサービス全体を代表する比較ではない。
同じモデルでも、基盤モデル向けの知識問題と対話モデル向けの好み評価は、良い回答の意味が異なる。導入候補を読む際は、どの段階のモデルに、どの質問をした結果かを先に確認したい。
何が分かったか
論文第2版の§3.4.2では、Llama 2-Chat 70Bについて、当時のChatGPTとの対話の役立ちやすさ比較で、勝ちが36%、引き分けが31.5%と報告する。これを「常に同等」と言い切らず、負ける回答もある条件付きの結果として読むべきだ。
著者らは、複数のオープンな対話モデルとの比較で良い結果を示した。一方、判定の対象は作成したプロンプト集合と評価手順に限られる。モデルが一つの質問に役立つ回答をしたことは、事実の正しさや安全性を全場面で保証するわけではない。
限界は何か
論文自身が、対話の人手評価にはプロンプトの偏り、基準の主観性、判定者の違いがあると述べる。4000件規模でも現実の用途を網羅できず、似たモデル同士の評価では判定者間の一致にも限界がある。安全性評価も、想定した有害な入力や測り方の範囲を超えて一般化できない。
事前学習データは公開情報由来だが、どの国や分野の文章が十分に含まれるかは別の問題である。日本語の社内規程、最新の情報、機密文書への適合は、この論文の数値では判断できない。
仕事との接点
対話AIを試すなら、基盤モデルと調整済みモデルを区別し、実際の業務質問で役立ちやすさ、事実性、安全性を別々に記録する。評価者の基準も残す。これはTRAIL編集部の提案であり、原論文が日本企業の運用効果を検証したという意味ではない。