- Phi-3 miniは38億パラメータの小型言語モデルで、選別したWebデータと合成データを用いる。
- 第4版の表では、MMLU 5-shotが68.8%。比較表のGPT-3.5 Turboは71.4%で、全課題で同等という意味ではない。
- 4ビット量子化版をiPhone 14でオフライン実行し、約1.8GBのモデルメモリ、毎秒12トークン超を報告した。
何を確かめた研究か
小型の言語モデルは端末内で動かしやすいが、モデルを小さくするだけでは品質を保てない。Phi-3の技術報告は、学習データを強く選別し、合成データも使って、38億パラメータのPhi-3 miniを訓練した。第4版にはほかのPhi-3系モデルも載るが、ここではminiの品質と端末実行に絞る。
どう検証したか
報告書は各モデルを同じ評価パイプラインで測り、複数のベンチマークを表に並べる。MMLUは5-shot、温度0の設定である。比較対象にはPhi-2、Llama-3-Instruct-8B、Mixtral-8x7B、GPT-3.5 Turboなどがある。
端末実験では、Phi-3 miniを4ビットに量子化し、A16 Bionicを搭載するiPhone 14でネイティブかつオフラインで実行した。ベンチマークのモデルと端末上の量子化モデルを同じ条件の精度評価として混同しないことが重要だ。
何が分かったか
第4版の表で、Phi-3 miniのMMLU 5-shotは68.8%。同表のMixtral-8x7Bは70.5%、GPT-3.5 Turbo（1106）は71.4%だった。小型でも近い値を示した一方、これだけで総合能力が同じとは言えない。別の課題では順位も変わる。
4ビット版のモデルメモリは約1.8GBで、iPhone 14で毎秒12トークンを超えた。端末内で実行できることを示した具体例だが、速度は端末、実装、入力長、発熱などに左右される。
限界は何か
報告書自身が、事実知識の不足、英語中心の学習、幻覚や偏りを課題として挙げる。MMLUの平均点では、固有名詞の確認や日本語の社内文書回答の信頼性は測れない。端末実験も一つの機種と量子化設定であり、全端末の性能を示すものではない。
学習に使うWeb文書の選別や合成データの作成には別の計算資源が必要だ。モデルを端末で軽く実行できることと、開発工程全体が軽いことも区別したい。
仕事との接点
オフライン処理や低遅延が必要なら、対象端末でメモリ、初回応答、連続生成速度を測り、同時に日本語の実タスクで誤答を確認する。小型モデルの適用範囲を見極めるためのTRAIL編集部の提案であり、報告書が企業業務の品質を実証したわけではない。