- 同じ単語でも文脈によって異なる表現を作るELMoを提案した。
- 既存モデルに追加すると、質問応答など六つの課題で当時の単一モデルの最高成績を更新した。
- 指標と基礎モデルが課題ごとに違うため、六つの改善幅を単一の性能値にはまとめない。
何を確かめた研究か
固定した単語ベクトルでは、同じ表記の語が別の意味で使われても同じ表現になる。ELMoの論文は、文章全体を見て単語の表現を変えれば、異なる言語理解の課題に役立つかを調べた。2018年に初公開された研究で、後の大規模な事前学習の流れを理解する手掛かりになる。
どう検証したか
大量の文章で双方向の言語モデルを事前学習し、各単語について内部の複数層の状態を取り出す。下流の課題ごとに層の混ぜ方を学び、既存モデルの入力などへ追加した。質問応答SQuAD、自然言語推論SNLI、意味役割付与、共参照、固有表現認識、感情分類SST-5の六課題で、ELMoを加えない同じ基礎モデルと比較した。課題によって正解率、F1など採点の尺度は異なる。
固定した単語ベクトルでは「同じ綴り」が常に同じ数値になる。ELMoでは前後の文から計算した状態を使うので、文中の役割によって単語の表現が変わる。重要なのは、事前学習したモデルの最終出力を一つだけ使うのでなく、複数層の情報を課題ごとに混ぜることだ。論文はその設計を最上層だけの条件と比較している。
何が分かったか
表1ではSQuADのF1が81.1から85.8へ、意味役割付与のF1が81.4から84.6へ上がった。これはそれぞれの基礎モデルへ追加した差で、後年のモデルへ同じ幅で効くという意味ではない。表2の開発データでは、最上層だけを使うより内部の全層を組み合わせる方が三課題で良かった。SQuADは最上層のみ84.7、全層の条件で85.0〜85.2だった。浅い層と深い層が異なる情報を持つという分析とも整合する。
少ない教師データでも効果が観察された。意味役割付与では、ELMoを加えたモデルが訓練データの1%で得たF1は、加えないモデルが10%を使ったときとほぼ同じだった。ただし、これは一課題の比較であり、すべての言語処理でデータを十分の一にできる保証ではない。
表1の「以前の最高値」と「著者らの基礎モデル」は同じ行でも値が異なる。改善幅4.7は後者の81.1から85.8を引いた差で、以前の最高値84.4からの差ではない。このように基準を揃えずに差を引用すると、手法の効果を大きく見積もる可能性がある。
限界は何か
六課題は英語中心で、当時のモデルとデータを使う。事前学習に必要な計算量とデータの影響を消した比較ではない。ELMoを追加する場所も課題により異なり、どのモデルにも一律の最適な組み込み方があるとは示していない。性能向上の一部は基礎モデルや学習条件との相互作用を含む。
仕事との接点
専門用語が文脈で変わる文章を扱うなら、単語表現が文脈を反映するかを考えたい。評価では、同じ基礎モデルへ表現を追加した場合の差と、事前学習の費用を分けて記録する。これは論文の比較方法を応用した編集部の提案であり、2018年の得点を現在の製品の性能とは読まない。
層を混ぜる重みは課題ごとに学習するので、ELMoの単一の固定表現が六課題の答えを作っているわけではない。基礎となる課題別モデルも訓練される。事前学習した表現を利用する手法の評価では、どこを固定し、どこを課題に合わせて学んだかを区別したい。