- 2020年のScaling Laws論文は、言語モデルの大きさ、学習データ量、計算量と予測損失の関係を実験から調べた。
- 測った範囲で損失がべき乗の法則に近く、固定した学習計算量の配分について予測を示した。
- 指標は主に次の語の予測損失であり、回答の正しさや安全性を直接測っていない。
何を確かめた研究か
モデルを大きくすると文章の予測はどれくらい改善するのか。学習データを増やした場合や、計算機を長く使った場合と、どのように比べればよいのか。「Scaling Laws for Neural Language Models」は、こうした設計上の問いを多数の学習実験で調べた。
論文が主に扱う「性能」は、次に来る語を予測する際の交差エントロピー損失だ。値が低ければ、評価用文章の語を予測しやすい。ただし、質問への事実に基づく回答、長い作業の遂行、偏りや有害性を測る指標ではない。この区別をしたうえで結果を読む必要がある。
どう検証したか
著者らは主に自己回帰型のTransformerを、モデルの大きさ、データ量、学習計算量を変えて学習した。WebText2という文章集合を使い、1024トークンの文脈で予測損失を測った。論文はLSTMなども比較に含むが、中心となる規則性はこの言語モデルの設定から導いている。
実験で得た値に、一定の倍率で規模を変えたとき損失がどう変化するかを表すべき乗則を当てはめた。モデルの幅や深さを入れ替えた場合、データが少なくて過学習する場合、学習途中で止める場合も考えた。そして、計算予算を固定したときに、モデルの大きさと処理するデータ量をどう配るかを推定した。
ここでの「最適」は、論文が定義する予測損失を、採用した計算量の見積もりのもとで小さくするという意味だ。製品の価格、利用時の応答速度、運用費用まで含む最適解ではない。
何が分かったか
論文の要約では、測った範囲の一部で、モデル規模、データ規模、学習計算量と損失の関係が7桁を超える範囲で比較的滑らかな法則に従うと報告する。第6節の推定では、固定した学習計算予算のもとで大きなモデルを比較的少ないデータで学習し、完全な収束より前に止める配分が効率的だとした。
この結論は、後年の研究と合わせて一つの不変な「正解」として扱わない。測定時点のモデル、データ、計算の定義で得た経験則である。特に、規模を大きくしたときの推定は、実際にその規模をすべて学習して確かめた結果とは異なる。
限界は何か
論文は、べき乗則を当てはめた領域の外へ式を伸ばす際の注意を記している。学習初期の振る舞いや、非常に大きなモデルでは、単純な式が当てはまらない可能性がある。データが有限なら、過学習と必要な学習ステップの関係も変わる。
また、同じ予測損失でも文章集合が違えば意味が変わる。あるデータで語を予測できることは、別の言語、業界、利用者の要求に応えられることと同義ではない。論文はモデルを作る際の資源配分を考える材料であり、完成したAIの品質証明書ではない。
仕事との接点
モデルの規模を比較するときは、パラメータ数だけで判断せず、どのデータをどれだけ学習したか、どの損失や業務課題で評価したかを確認したい。自社利用なら応答時間や費用、誤答の影響も別に測る。これはTRAIL編集部の提案であり、原論文が特定の業務での導入効果を検証した結果ではない。