- T5は、分類、翻訳、要約、質問応答を、文章を受け取り文章を返す同じ形式にそろえた。
- 原論文はこの共通形式で、事前学習の目的やデータ、モデル構造、学習方法を系統的に比較した。
- 形式が共通でも、課題ごとの正解データと評価指標の違いは残る。
何を確かめた研究か
文章処理の研究では、分類ならラベルを出し、翻訳なら別言語の文章を出すなど、課題ごとに実装の形が違った。性能の差が学習方法の差によるのか、周囲の設計の差によるのかを読み解きにくい。T5の原論文は、すべてを入力文から出力文を作る問題として表し、転移学習の方法を同じ土台で比べた。
T5は「Text-to-Text Transfer Transformer」の略である。たとえば分類なら、入力の前に課題を示す語を付け、出力には分類名の文字列を生成させる。これは課題そのものを同じにするわけではなく、モデルとの接点をそろえる設計だ。
どう検証したか
著者らはTransformerの入力側と出力側を持つ構造を基礎に、事前学習の方法を比較した。Web由来の英語文章を整えた「C4」というコーパスも用意する。文章の一部を隠し、欠けた部分を生成する方法を中心に、隠す位置や連続した語の扱い、データ量、複数課題の混ぜ方などを変えた。
最終的な大きなモデルでは、平均3トークンほどの連続区間を隠し、元の文章の15%を予測対象とした。論文第4版の§3.3は、似た目的関数の間の差は比較的小さく、出力列の長さによる学習費用も判断材料になると述べる。つまり、勝った手法を一つだけ挙げるより、比較の条件を読む必要がある。
評価には、英語の文章分類、質問応答、要約、翻訳などを含む複数の公開課題を用いた。課題ごとに元の評価指標が違うため、すべての点数を一列の正答率として比較できない。著者らは事前学習後に各課題へ微調整し、その結果を示した。
何が分かったか
第4版の§3.7では、最大110億パラメータまで規模を上げたモデルを比較した。著者らは検討した24課題中18課題で、当時の最高水準の結果に達したと報告する。表14の比較対象は2019年10月24日時点の既報結果であり、その後のすべてのモデルとの順位ではない。
この論文の意義は、単に大型モデルの点数を上げたことだけでなく、課題形式をそろえて、構造、学習データ、目的関数の選択を比較可能にした点にある。一方、最大モデルの良い結果には、大規模な学習データと計算が関わる。共通形式だけで成果が出たと切り分けることはできない。
限界は何か
論文自身が、主に英語を扱うと明記している。C4はWeb文章から作ったコーパスで、収集とフィルタリングの条件が内容を左右する。日本語の社内文書や機密情報、専門分野の文章で同じ振る舞いになる証拠ではない。
また、分類名を文字として出すだけで、誤りを許容できる分類器になるわけではない。質問応答の正確さ、要約での事実保持、翻訳の自然さなどは、別々の指標と人の判断が必要だ。表14は課題ごとの実験結果であり、実務への一括した品質保証ではない。
仕事との接点
複数の文章処理業務を一つの仕組みで扱いたいとき、入力と出力の形をそろえる考え方は参考になる。試す際は、課題ごとの正解例、失敗の許容範囲、評価方法を別に定める。これはTRAIL編集部の提案であり、原論文が日本企業での導入効果を測った結果ではない。