- PaLMの論文は、8B、62B、540Bパラメータの言語モデルを使い、モデルの規模を拡大したときの少数例学習や推論課題の変化を調べた。
- 540Bモデルの学習にはPathwaysを使い、6,144個のTPU v4チップを動かした。成果は計算資源と評価条件を伴う。
- 課題での高い得点は、全言語・全用途での安全性や公平性を示すものではない。
何を確かめた研究か
言語モデルを大きくすると、少ない例だけを示して新しい課題に答える能力はどう変わるのか。PaLMの論文は、540Bパラメータの密なTransformerを訓練し、8B、62Bのモデルとも比べた。「密な」とは、入力ごとにモデルの大部分を使う方式を指す。多数の専門モデルを切り替える仕組みとは異なる。
この規模を実現するため、研究チームはPathwaysという学習システムで複数のTPU Podをまたぎ、6,144個のTPU v4チップを用いた。論文の主題はモデルの性能だけではない。大規模な学習を実際に動かす仕組みと、規模を変えたときにどの評価が改善するかを合わせて記録している。
どう検証したか
評価は、少数の例を入力に含めるfew-shot設定を中心に、言語理解、生成、複数段階の推論、コード、多言語の課題を広く扱う。論文は29の自然言語処理ベンチマークやBIG-benchの課題を含め、8B、62B、540Bでの結果を比較した。学習システムの効率も、処理したトークン数や計算資源の利用率で調べている。
ベンチマークの総数が多くても、全てが同じ能力を測るわけではない。少数例の与え方、出力の採点方法、課題の言語によって結果が変わる。論文には、規模に応じて滑らかに伸びる課題と、62Bから540Bの間で大きく跳ねたように見える課題の両方が記されている。
何が分かったか
PaLM 540Bは、29の自然言語処理課題のfew-shot設定では28課題で、それまでの報告値を上回ったと論文は述べる。また、BIG-benchでは約4分の1の課題について、62Bから540Bにしたときに急な改善が観察された。この現象は、特定の課題と指標で見た規模の変化であり、「モデルを一定以上大きくすればあらゆる能力が突然現れる」という法則ではない。
モデルの学習規模自体も重要な条件だ。540Bを動かすための6,144個のTPUと、大量の学習データを使った結果を、小さな組織が同じ費用で再現できるとは言えない。モデルの大きさだけでなく、データや学習手順も結果に関わる。
限界は何か
論文は偏りと有害な文章の生成も調べたが、公平性の分析は英語のデータに限られると明記している。多言語のモデルが日本語や別の社会文化的な文脈でどう振る舞うかは、この測定だけでは分からない。使用した指標で見えない偏りや、用途ごとに異なる害もあり得る。
また、論文が測ったのは主に事前学習済みモデルである。実サービスでは追加学習、プロンプト、フィルター、利用者の入力が加わる。ベンチマーク上の成果を、完成した製品の品質や安全性に直結させるべきではない。
仕事との接点
大きいモデルに切り替える前には、自社で必要な言語・課題・出力形式に絞り、候補間の改善幅を測る。改善した課題があっても、費用、待ち時間、偏りの確認を別に行う。PaLMは規模の効果を考える重要な資料だが、採用すべきモデルの答えを一つに決める研究ではない。これは論文の結果と限界を踏まえたTRAIL編集部の提案である。