- Chinchilla論文は、同じ学習計算量のもとで、モデルの大きさと学習に使うトークン数をどう配分するか調べた。
- 700億パラメータのChinchillaを1兆4000億トークンで学習し、同程度の計算量で作られた2800億パラメータのGopherと比較した。
- 「計算最適」は採用した損失、データ、推定法に対する結果であり、利用時の全費用や品質の最適化ではない。
何を確かめた研究か
言語モデルを強くするために、パラメータ数を増やすだけでよいのか。同じ学習計算予算を使うなら、モデルを少し小さくして、より多くの文章を学習させる方がよい場合はないか。Chinchillaの原論文は、この配分を正面から調べた。
「計算最適」は、ある予算で事前学習の損失を小さくするモデル規模とトークン数の組を指す。すべての利用目的で最も良いモデルという意味ではない。対話の有用性や事実性、推論速度を同じ式で最適化した研究でもない。
どう検証したか
著者らは、数千万から百数十億パラメータの400を超えるモデルについて、処理するトークン数や学習の長さを変えた。モデル規模、データ量、学習計算量と予測損失の関係を推定する複数の方法を比べ、固定予算に対する配分を求めた。
その予測を大規模な学習で試すため、700億パラメータのChinchillaを1兆4000億トークンで学習した。比較対象のGopherは2800億パラメータで、論文は両者の学習計算量をほぼ同じとする。単に小さいモデルと大きいモデルの順位を並べるのではなく、計算量をそろえて学習データの使い方を変えた比較だ。
論文は事前学習の損失だけでなく、MMLUなど複数の下流課題でも評価した。課題ごとの点数は、入力形式や評価方法と一緒に見る必要がある。
何が分かったか
推定した法則では、計算予算を増やすとき、モデルの大きさと学習トークン数をほぼ同じ割合で増やすことが効率的だと報告する。Chinchillaは同程度の学習計算量で作られたGopherより、論文が検討した多くの評価課題で高い成績を示した。
論文の要約では、ChinchillaがMMLUで平均67.5%を記録し、Gopherより7ポイント超高かったと報告する。ただし、これは当時の課題セットと採点方法の下での比較であり、現在の製品を選ぶための順位ではない。小さいモデルは利用時の計算を減らしやすいが、その費用まで含めてあらゆる用途で最適と証明したわけではない。
限界は何か
著者らは、大規模で学習計算量をそろえた実行例がChinchillaとGopherの二つしかなく、中間の規模では追加検証できていないと記す。計算最適の前線をべき乗則で表すという仮定にも依存する。論文は、大規模側で単純な外挿が最適規模を過大に見積もる可能性に言及する。
大量のデータを使うと、評価データとの重複、偏り、有害な表現、私的な情報などの問題も増える。著者らはデータの質とその確認を今後の課題に挙げた。学習トークンを増やすだけで安全で正確なモデルになるとは言えない。
仕事との接点
モデルを評価する際は、パラメータ数に加えて、学習データ量、評価する仕事、実行時の費用を一緒に見る。自社の文書や利用者で誤りを確認することも欠かせない。これはTRAIL編集部の提案であり、原論文が日本企業の業務での効果を測った結果ではない。