- End-to-End Memory Networksは文を外部メモリへ置き、注意による読み出しを複数回繰り返す。
- bAbIの合成質問応答20課題で、根拠文の位置を直接教えず最終回答から学習した。
- 1000訓練例の表1では強い教師ありMemNNの平均誤り6.7%に対し、MemN2Nの良い構成は12.4%だった。
何を確かめた研究か
End-To-End Memory Networksの原論文は、質問の答えを出すまでに保存した文を何度か参照する計算を、最終回答だけで学べるかを調べた。以前のMemory Networkは、どの文が根拠かという追加の教師情報を要する場合があった。MemN2Nは文をベクトル化してメモリに置き、質問から注意の重みを求め、読んだ情報で質問の表現を更新して次の読み出しへ進む。
どう検証したか
bAbIの20種類の合成QAを、課題ごと1000例と1万例の条件で評価した。文の順番を表す位置符号、学習初期にsoftmaxを外すlinear start、時間の揺らぎ、1〜3回の読み出しを組み合わせる。表1は課題別の誤り率と平均を示す。Penn TreebankとText8の言語モデル評価も載るが、合成QAの得点と同じ能力の指標ではない。
何が分かったか
1000例の表1では、強い教師情報を使うMemNNの平均誤り6.7%に対し、位置符号とlinear startなどを組み合わせたMemN2Nの良い設定は12.4%だった。複数回読み出すと平均は改善するが、全課題を解けたわけではない。たとえば経路探索の課題19は、その良い設定でも88.0%の誤りが残る。平均だけでは重要な失敗が隠れる。
メモリへの注意を一回だけ行うと、別の文を手掛かりに次の文へ進む問いに弱い。複数回の参照はそのような推論を狙うが、課題19の結果は回数を増やすだけでは足りないことを示す。文の位置を区別する表現や学習初期の処理も成績に影響するため、単独の要素だけで平均点を説明できない。
限界と仕事との接点
bAbIは規則的な合成文で、現実の文書の曖昧さ、更新、矛盾、長さを十分に表さない。注意の重みが根拠の正しさを保証するわけでもない。文書QAに応用するなら、複数文をつなぐ問いと経路探索型の問いを別々に作り、根拠文の正しさまで点検する。後半はTRAIL編集部の提案である。