- Llama 3の技術報告は8B、70B、405Bの言語モデル群を説明する。最大の405Bは15.6兆トークンで事前学習された。
- 第3版の表2で405BのMMLU 5-shotは87.3%。GPT-4（0125）の85.1%を上回るが、GPT-4oの89.1%には届かない。
- 言語モデルの重みはCommunity Licenseで公開した一方、論文で試した画像・動画・音声の拡張は当時未公開だった。
何を確かめた研究か
Llama 3の技術報告は、8B、70B、405Bの言語モデルについて、学習、指示追従、安全性、評価をまとめた。405Bは15.6兆のテキストトークンで事前学習され、長い文脈への対応も進めた。論文は128Kトークンの文脈を扱うモデルを説明する。
大きなモデルの性能だけでなく、重みを公開したモデル群がどの課題で商用APIと競うかを見られる資料だ。ただし重み公開は学習データや利用権限の無制限な公開を意味しない。
どう検証したか
報告書は一般知識、コード、数学、推論、道具利用、長文などを個別に評価する。第3版の表2は指示調整後の405Bを、他社モデルと同じベンチマーク欄で並べる。問題によってshot数や思考過程の設定が異なるため、行をまたいだ単純な平均順位は作れない。
報告書には人手での比較、安全性評価、評価データとの重複除去も含まれる。ただし重複除去は既知の評価集合に対する手順であり、未知のデータ混入がないことの証明ではない。
何が分かったか
表2のMMLU 5-shotではLlama 3 405Bが87.3%、GPT-4（0125）が85.1%、GPT-4oが89.1%だった。MMLU-Proの5-shot思考過程ありでは405Bが73.3%、GPT-4oが74.0%、Claude 3.5 Sonnetが77.0%。課題と比較相手によって順位が変わる。
Metaは8B、70B、405Bの事前学習版と指示調整版の重みを、Llama 3 Community Licenseの下で公開した。論文中で紹介する画像・動画・音声の拡張は開発段階で、同時点では公開対象ではなかった。採用判断では論文に載った機能と入手できるモデルを分けたい。
限界は何か
405Bの運用には相応の計算資源が必要で、論文のベンチマーク結果だけでは実際の応答費用や遅延は分からない。8Bと70Bは多言語データで事前学習されていても、当初の主な利用想定は英語だった。日本語の特定業務には独立の評価が必要だ。
公開モデルのライセンス条件は利用形態に影響する。論文の性能表が、商用利用に必要な権利確認や組織内での安全性確認を代替するわけではない。
仕事との接点
405Bを候補に入れるなら、必要な課題に絞った品質、推論費用、応答時間、ライセンスを同じ表で比べる。小型版で足りる作業と、405Bの追加能力が必要な作業を分けて測る。これは論文の課題別評価から導くTRAIL編集部の提案であり、論文が特定企業の運用条件を検証したわけではない。