- DataComp-LMは、言語モデル向け学習データの選別方法を、固定したモデル・学習手順・評価で比べる基盤である。
- 候補集合はCommon Crawl由来の240兆トークン。報告された7Bモデルの学習量は2.6兆トークンで、両者は異なる。
- 第3版の表9では公開データのDCLM-BaselineがMMLU 5-shotで63.7%。MAP-Neoの57.1%との差は6.6ポイントである。
何を確かめた研究か
大規模言語モデルでは、データを増やすだけでなく、どの文書を残すかが性能を変える。ただし異なる論文のモデルを比べるだけでは、データ、モデル構造、学習量のどれが効いたか分かりにくい。DataComp-LMは、データの重複除去、品質フィルタ、混合を比較しやすい共通の実験基盤を作った。
Common Crawlから抽出した240兆トークンは選別前の候補集合であり、個々のモデルが全量を学習するわけではない。共通レシピは4.12億から70億パラメータまでの規模を対象にし、53の下流評価を用いる。
どう検証したか
著者らはデータ選別の実験を重ね、品質を推定するモデルによるフィルタが有効だと報告した。公開したDCLM-Baselineは選別した学習データで、表9の7Bモデルは2.6兆トークンを学習した。表9では、公開データで学習した他モデルと、データ非公開の重み公開モデルを別の群に並べる。
この比較では、同じ表に載るモデルも設計や学習トークン数は揃わない。データ選別の因果効果を読むには、共通レシピ内の比較を重視し、表9は到達性能の参考として扱う必要がある。
何が分かったか
表9のDCLM-Baseline 7BはMMLU 5-shotで63.7%。公開データで学習したMAP-Neo 7Bは57.1%で、差は6.6ポイントだった。論文要旨はこの比較で学習計算量を40%削減したと述べる。一方、同表のLlama 3 8Bは66.2%であり、DCLM-Baselineが表中の全モデルを上回るわけではない。
共通条件でデータ選別を試せることが、この研究の主要な成果だ。学習データの品質を論じるとき、候補集合の規模、採用割合、訓練トークン数、評価課題をそれぞれ記録できる。
限界は何か
著者らは、膨大な選別方法の組み合わせを網羅できず、多くの実験で単一のトークナイザを用いたと述べる。主な評価は自然言語理解で、コードと数学の性能は今後の課題とされる。MMLUでの重複対策も、未知の評価データへの混入が全くないという保証ではない。
公開データで学習できる利点と、特定課題での最高点は別の判断軸だ。63.7%という値を自社の質問応答や生成品質へそのまま移すことはできない。
仕事との接点
社内データの追加学習やデータ調達を検討する際は、まず同じモデル、計算予算、評価集合でフィルタ方法を比較したい。性能だけでなく、採用した文書の由来、重複、分野別の欠落も監査する。これは論文の実験設計から導くTRAIL編集部の提案であり、論文が企業内データでの効果を測ったわけではない。