- BLOOMは、数百人規模の共同研究で作られた176Bパラメータの多言語モデルで、訓練データとモデルの公開方法も論文で説明した。
- ROOTSコーパスは46の自然言語と13のプログラミング言語を含む。ただし、言語ごとのデータ量や課題での性能は均一ではない。
- 公開されていることと、どの用途にも十分な性能・安全性があることは別だ。
何を確かめた研究か
大きな言語モデルは、訓練に多くの計算資源が必要で、開発過程や重みが公開されない場合もある。BLOOMの論文は、多数の研究者が共同で大規模モデルを作り、データ、学習、評価、公開の選択を記録した研究だ。BLOOMは176Bパラメータの、次のトークンを予測するTransformerである。
研究の問いは「大きければ高性能か」だけではない。多くの言語を扱う訓練データをどう集め、どの条件で評価し、どのような文書と利用条件を付けて公開するかも含む。結果を追える資料を提供した点が、モデルそのものの得点と並ぶ貢献である。
どう検証したか
訓練にはROOTSというコーパスを用いた。数百の出典から集めた46の自然言語と13のプログラミング言語を含み、言語ごとの量は異なる。論文は、ゼロショットと一つの例を示すワンショットを中心に、言語理解、翻訳、要約、コードなどを評価した。比較にはOPT、T0などのモデルを使い、指示を使った追加学習後の変化も調べた。
論文は、評価に用いるプロンプトや対象言語で結果が変わることを示す。特定の一つのスコアだけで、多言語能力を代表させる設計にはなっていない。偏りの評価についても、指標自体に限界があると議論する。
何が分かったか
BLOOMは多様なベンチマークで競争力のある結果を示し、複数課題の指示データで追加学習すると結果が強まったと論文は報告する。一方、ワンショットのSuperGLUE分類では、例を一つ加えても全体として目立つ改善は見られなかった。BLOOMとOPTのモデル系列を比べても、全課題で一方が常に上回るわけではない。
このような結果は、パラメータ数や言語数だけをモデル選びの代理指標にしにくいことを示す。言語や課題を狭めると、別の順序になる可能性がある。公開されたモデルの価値は、比較を追試しやすくすることにもある。
限界は何か
「46言語を含む」は、全言語で同程度の量と品質のデータを持つという意味ではない。論文のROOTSの内訳からも差が分かる。学習データの出典に由来する偏りや、生成内容の問題が残り得る。著者らはモデルカードに想定用途と限界をまとめ、モデルの重みとコードで異なる利用条件を設けたと説明する。
公開形態は研究と利用をしやすくするが、モデルを使う側の検証を代行するものではない。論文のベンチマークには、実際の業務文書、対象組織の言語、運用時の誤りの費用がそのまま入っているわけではない。
仕事との接点
多言語の公開モデルを検討するなら、対象の言語と仕事の文書を使って正確さ、偏り、費用を測る。モデルカードと公開時の利用条件も確認する。その上で、総合点ではなく必要な課題での性能を見る。これはBLOOMの公開資料と評価の限界を踏まえたTRAIL編集部の提案であり、論文が個別の業務への適合を保証したものではない。