- Reformerは似た表現をハッシュで同じ区画へ集め、全語の組み合わせを比べる自己注意を近似する。
- 可逆な残差層により、学習中の各層の中間結果を大量に保存せず再計算できる。
- ハッシュの回数と精度には交換条件があり、初版論文は人工的な記号列の複写課題と文字列モデルで検証した。
何を確かめた研究か
通常のTransformerは入力が長くなると自己注意の計算と記憶量が二乗で増える。学習時には各層の中間結果も保持するため、長い列でモデルを深くすることが難しい。Reformerの初版論文は、注意を近似する局所性鋭敏型ハッシュ（LSH）と、中間結果を復元できる可逆層を組み合わせた。
LSHは似た特徴を持つ語を同じ区画へ入れ、その内部を中心に注意を計算する。区画が違っても関係のある語を取りこぼす可能性があるため、複数回ハッシュして補う。可逆層は出力から前段の表現を再計算でき、全層の表現を保存する必要を減らす。注意の近似と学習時の保存量の削減は別の工夫だ。
どう検証したか
論文はenwik8とimagenet64のモデルで、通常の層と可逆層の学習曲線、ハッシュ回数による精度と速度を比べた。表2は与えられた記号列の後半を予測する人工的な複写課題で、全注意で学んだモデルをLSHで使った場合と、最初からLSHで学んだ場合を分ける。
図3では可逆層に替えても同じパラメータ数の比較で学習曲線が近いことを示す。図5では入力列を長くしてもLSH注意の処理速度が比較的安定する様子を示す。ただし図の条件と、実際の業務文書での応答時間は同一ではない。
何が分かったか
表2では全注意で学んだモデルを少ないハッシュ回数のLSHへ置き換えると、複写課題の予測精度が落ちる。LSHで学習したモデルでも、評価時のハッシュ回数を増やすと改善する傾向がある。図4でも回数を増やすほど全注意の成績に近付くが、その分、計算費用は増える。
可逆層の比較では、保存量を減らしても学習曲線がほぼ同じだった。長い入力と深いモデルを一つの計算機で扱う実験も示した。ただし注意の近似だけで全ての改善が生まれたわけではなく、可逆層、処理を小分けする工夫、ハッシュの回数を合わせて見る必要がある。
限界は何か
ハッシュは近似なので、関連する語が同じ区画に入らず情報を落とすことがある。回数を増やせば計算量も増える。論文の定量的な分析には人工課題と文字・画像の生成モデルが多く、一般的な長文質問応答や日本語文書での有利さを直接測ったものではない。
仕事との接点
長文の基盤方式を選ぶなら、入力長ごとのメモリ、学習時間、推論時間、対象課題の正答を同時に測る。Reformerの実験は、効率の宣伝値と近似による誤りを分ける手掛かりとなる。これはTRAIL編集部の提案であり、論文の業務実証ではない。