- GNMTは希少語、品質、推論速度を同時に扱うため、8層ずつのLSTMとWordPiece、低精度演算を組み合わせた。
- 第2版ではWMT14英仏の単一モデルBLEUが38.95、英独は24.17と報告する。
- BLEUの改善が人の評価でも同じ幅で改善するとは限らず、論文の追加学習実験でも差が見られた。
何を確かめた研究か
ニューラル翻訳は文全体の対応を学べる一方、当時は学習・推論の計算費用や希少語の扱いに課題があった。GNMTの論文は、実際の翻訳システムで精度と速度を両立させるための構成をまとめた。深いLSTM、注意機構、残差接続、単語を細分化するWordPiece、低精度の推論演算を一つのシステムへ組み込む。
どう検証したか
エンコーダとデコーダは各8層のLSTMで、短い単語片の列として入力と出力を扱う。WordPieceは珍しい語を未知語一つにまとめず、既知の部分に分ける。推論時には候補文の長さを補正し、入力の語を訳し漏らしにくくするペナルティも加える。
論文はWMT14の英語からフランス語、英語からドイツ語への翻訳をBLEUで測る。別に人手で訳文を比較し、低精度演算による品質と推論速度も調べた。構成要素が多いため、全体の得点を一部品だけの効果として読めない。
何が分かったか
本文は単一モデルの英仏BLEUを38.95、英独を24.17と報告する。これらは同じ言語対でも訓練や評価条件を揃えた比較先に対する値で、異なる言語対の難しさを数字だけで順位付けするものではない。8モデルの集合と追加の強化学習を使うと、英仏では表7のBLEUが41.16になった。
しかし表9の英仏の人手評価では、集合モデルに強化学習を加える前が4.46、後が4.44だった。BLEUは40.35から41.16へ上がったが、人が感じる品質の改善は確認できなかった。論文も標本数500件、得点差の小ささ、指標とのずれを可能な理由として挙げる。
限界は何か
論文要旨の「誤りを平均60%削減」は、従来のGoogleのフレーズベース翻訳との人手比較であり、全ての言語、文章、利用場面に同じ効果があるという意味ではない。WMTのBLEUも企業の専門文書や日本語翻訳の保証値ではない。低精度演算の速度は当時の実装とハードウェアに依存する。
仕事との接点
翻訳システムを選ぶ際は、希少な専門用語と長い文書を含む対象データで、BLEUなどの自動指標に加えて訳し漏れや意味の逆転を人手で調べる。これは論文の評価上の差から導くTRAIL編集部の提案であり、論文が現在の業務翻訳を検証したわけではない。