- LLaMAの原論文は、公開されているデータを使い、比較的小さな言語モデルを長く学習させた。
- 70億から650億パラメータのモデルを、当時の複数の公開課題でより大きなモデルと比べた。
- 「小さくても強い」は評価課題と学習量を伴う結論であり、安全な対話能力の保証ではない。
何を確かめた研究か
言語モデルの性能を上げるには、パラメータ数を増やすだけが道なのか。学習の計算予算だけでなく、利用時の計算費用も考えるなら、比較的小さなモデルを長く学習する選択がある。LLaMAの原論文は、公開データだけを使い、この設計を複数の規模で試した。
著者らが紹介したのは、70億、130億、約330億、650億パラメータの基盤モデル群だ。入力から次の語を予測して文章を続けるモデルで、対話向けの指示調整を最初から施した製品ではない。モデルの規模だけを数えて、現在の対話サービスの良し悪しを決めることはできない。
どう検証したか
事前学習には、Common CrawlやC4、公開のGitHubコード、Wikipedia、書籍、arXiv、Stack Exchangeなどを組み合わせた。表1はその比率を示す。公開されているデータを使ったという主張は、各データの品質や利用許諾がすべて同じという意味ではない。データ収集と選別の条件は結果に影響する。
表2によれば、70億と130億の構成は1兆トークン、約330億と650億の構成は1兆4000億トークンで学習した。Transformerを基本に、正規化、活性化関数、位置情報の表し方を調整している。成果を学習トークン数だけの効果と切り分けることはできない。
評価は、常識的な選択問題、質問応答、読解、数学、コード生成、MMLUなど複数の公開課題で行った。課題ごとに例の与え方と採点方法が異なる。論文は一つの総合的な「知能の点数」を定めたわけではない。
何が分かったか
要約では、130億パラメータのLLaMAが、比較した多くのベンチマークで1750億パラメータのGPT-3を上回ったと報告する。これは論文に載る特定課題の比較であり、すべての課題で優れるという意味ではない。
限界も数字に表れている。表9のMMLUの5例提示条件では、LLaMA-65Bの平均正答率は63.4%、Chinchilla-70Bは67.5%だった。最大構成でも比較対象に届かない課題がある。著者らは追加の指示調整を試したが、それは別の実験として扱っている。基盤モデルの結果と指示調整後の結果を混ぜないことが重要だ。
限界は何か
論文は、偏り、有害な文章、誤情報に関する評価を別章で扱う。公開課題での得点が高くても、社会的な影響や利用者への適切な応答が保証されるわけではない。学習データの比率は英語のWeb文章が大きく、日本語業務の品質を直接測っていない。
また、比較した各モデルは学習データ、目的、評価時の入力条件が一致しない場合がある。モデル規模の小ささだけを原因として、特定の得点差を説明しきることはできない。論文の意義は、公開データと長めの学習で達成可能だった当時の範囲を示したことにある。
仕事との接点
基盤モデルを選ぶ際には、パラメータ数に加え、どの文章をどれだけ学んだか、実際の業務での正答率、応答時間、運用費用を確認する。機密文書の扱いや出力の偏りも別に点検する。これはTRAIL編集部の提案であり、原論文が日本企業への導入効果を測った結果ではない。