- 2017年の論文は、翻訳モデルで文章の順序を一つずつ追う処理に頼らない「Transformer」を提案した。
- 著者らは、当時の英語からドイツ語への翻訳課題で、それまでに報告された結果を上回るスコアを示した。
- 実験は特定の翻訳データと評価方法による。現在のAI製品や日本語業務の性能を測った論文ではない。
何を確かめた研究か
文章を別の言語に訳すには、単語の順番だけでなく、離れた場所にある語の関係も捉える必要がある。2017年当時の主要な翻訳モデルは、文章を前から順に処理する再帰型のネットワークや、近くの語をまとめて処理する畳み込み型のネットワークを使っていた。順に処理する方式では、同じ文章の各位置について計算を並列に進めにくい。
原論文「Attention Is All You Need」の問いは、そうした方式に頼らず、文章内のどの語に注目するかを計算する「注意機構」を中心に翻訳モデルを作れるか、というものだった。著者らが提案した構造がTransformerである。
どう検証したか
Transformerは、入力文を読み取る部分と訳文を作る部分からなる。各語がほかの語を参照する「自己注意」によって、離れた位置の関係を一度の層で扱えるようにした。複数の注意の計算を並行して行う「マルチヘッド注意」も組み合わせる。ただし、注意機構だけでは語順が分からないため、入力には位置を表す情報を足している。「注意だけ」という題名を、語順の情報まで不要にしたという意味に取ってはいけない。
著者らは、WMT 2014の英語からドイツ語、英語からフランス語への翻訳課題で既存方式と比較した。翻訳の一致度を測るBLEUという指標のほか、学習に要した計算量も示している。構造を変えた版同士の比較では、注意を複数に分ける設計なども検討した。ここでの比較対象は当時報告されていた翻訳モデルであり、現在の対話AIではない。
何が分かったか
論文第7版の表2では、大きいTransformerモデルが英語からドイツ語への翻訳で28.4 BLEUを記録した。同じ表で、従来の単一モデルや複数モデルを組み合わせた方式を上回る。論文は、この設定の学習に8基のP100 GPUで3.5日を要したと記す。この数字はモデルの構造、データ、学習環境、評価方法と一組で読む必要がある。
著者らが示した意義は、翻訳の品質に加え、学習時に入力文の各位置について計算を並列に進めやすい構造を示したことだ。ただし、訳文を生成するときは前に出した語に基づき次の語を作る。Transformerの処理全体が常に一度で終わるわけではない。
限界は何か
主な実験は英語とドイツ語、英語とフランス語の翻訳だ。英語文の構文解析にも適用したが、日本語の業務文書、長い対話、事実の正確さ、安全性を測った研究ではない。BLEUは参照訳との近さを見る指標であり、人が実務で使える訳文かを単独で決めるものでもない。
また、論文が示すのは2017年に提案された構造と、その時点の課題での実験結果だ。後年のさまざまなAIの性能を、この論文の翻訳スコアだけで説明することはできない。
仕事との接点
この論文を読む価値は、現在の製品選びに直接使える順位表があることではなく、モデルの設計上の狙いと実験で確かめた範囲を分けて理解できることにある。業務で翻訳や文章処理のAIを選ぶなら、対象言語、文書の種類、誤りを許せない箇所、自社の確認方法を別に定めて試す必要がある。これはTRAIL編集部の提案であり、原論文が日本企業での導入効果を検証した結果ではない。