- T0は、複数の教師あり課題を自然言語の指示文に変換し、ひとつのモデルへまとめて学習させた。
- 未学習の課題でも、訓練時の課題や指示文を多様にするとゼロショットでの成績が改善することを調べた。
- 「初めて見る課題」の評価には、訓練した課題の範囲と、指示文の言い換えによる変動を合わせて見る必要がある。
何を確かめた研究か
例を一つも示さず、新しい課題を文章で説明するだけでモデルが答えられることを「ゼロショット」と呼ぶ。この能力は巨大なモデルを事前学習すれば自然に生まれるのか。それとも、異なる課題を明示的に練習させても得られるのか。T0の論文は後者を調べた。
研究チームは教師ありデータの課題を、利用者が読むような指示文へ書き換える仕組みを用意した。同じ課題にも複数の言い方を作る。事前学習済みのエンコーダ・デコーダ型モデルに、そうした課題の混合物を追加学習させたものがT0だ。
どう検証したか
学習した課題とは別の課題群を残し、指示文を与えるだけで回答させた。比較には、同じ基盤モデルで多課題の指示学習を行わない設定や、より大きいGPT-3系のモデルを使う。T0本体は約11Bパラメータである。課題の数と、課題ごとの指示文の数を変えた実験も行った。
この比較では、どのデータ集合を学習から除いたかが重要になる。論文にはT0、T0+、T0++という異なる学習混合物があり、後者ほど学習に含めるデータ集合が増える。ある実験での未学習課題を、全てのモデルに共通した条件だと読み替えられない。
何が分かったか
T0は複数の未学習課題で強いゼロショット結果を示し、論文はモデルが何倍も大きい比較対象を上回る場合があると報告した。大きさだけでなく、課題を指示文として多様に練習させることが結果に効く。追加実験では、一つの課題に複数の指示文を使うと、未学習課題での成績の中央値が上がり、指示文によるばらつきも減る傾向が見られた。
一方、全ての未学習課題で勝つわけではない。比較結果は課題の種類とプロンプトによって変わる。T0系の結果は「指示文を一度学べばあらゆる仕事を理解する」という結論ではなく、訓練データの作り方が未知の評価にも影響することを示す。
限界は何か
ゼロショットは「特定の評価データをそのモデルの追加学習に使わなかった」という実験上の条件だ。事前学習や近い課題に含まれた知識を全て排除する意味ではない。課題の似かよりや指示文の書き方で、どれだけ新しい問題かは変わる。
論文の結果は主に定めたデータ集合と自動採点の範囲で示された。複雑な業務での正しさや安全性まで測ったものではない。モデルの規模だけをそろえても、事前学習、課題の混合、評価の指示文が違えば、公正な比較にはならない。
仕事との接点
指示文でAIを動かす場合、代表的な一文だけで品質を決めず、言い換えや未経験の課題も含めて試す。比較するモデルの学習データに近い課題が入っていないか、分かる範囲で確認する。これはT0の評価設計から導いたTRAIL編集部の提案であり、論文が一般の業務での改善を測った結果ではない。