- Pointer-Generatorは、原文から語をコピーする経路と新しい語を生成する経路を組み合わせる。
- coverageは既に参照した箇所を記録し、同じ内容の反復を減らす。
- CNN/Daily MailのROUGEでは改良した生成モデルでも冒頭3文を抜く単純法が強かった。
何を確かめた研究か
原論文は、ニューラル要約が人名・地名を誤って書き換えたり、同じ話を繰り返したりする課題を扱う。通常の文章生成だけでは、訓練で頻度の低い固有名詞を出しにくい。提案法は原文に注意を向け、その位置の語を写す確率と、語彙から新たに生成する確率を混ぜる。coverageは、それまでに注意を向けた位置を記録し、繰り返しを罰する。
どう検証したか
CNN/Daily Mailのニュース記事と要約で学習し、ROUGEとMETEORで表現の重なりを測った。単純なsequence-to-sequenceモデル、コピー機構だけを加えた版、さらにcoverageを加えた版を比較する。記事の冒頭3文をそのまま要約とするlead-3も対照に置いた。論文の先行研究の一部は匿名化したデータを使うため、表1で同じ表に載っていても厳密な同条件比較ではない。
何が分かったか
表1のROUGE-1 F1は50,000語の基礎モデル31.33、Pointer-Generator 36.44、coverage付き39.53。ROUGE-2は11.81、15.66、17.28だった。一方、lead-3のROUGE-1は40.34、ROUGE-2は17.70で、coverage付きより高い。ニュースの重要情報が冒頭に集まる性質も得点に影響する。
図6ではcoverage付きでも原文の文を丸ごとコピーする割合が35%で、参照要約の1.3%より大きかった。出力語の新規性も参照要約より低い。コピーで事実の誤記を減らしても、文章を意味的にまとめ直す能力とは別だ。ROUGEが高いことも、全ての事実が正しい保証ではない。
限界と仕事との接点
ニュース向けの学習と指標は、会議録や契約書の要約にそのまま当てはまらない。入力のどの文を写すか、数字や固有名詞を壊していないか、重複や欠落がないかを人が確認したい。要約方式を選ぶ際は単純な抜き出しを対照に残し、要約の用途に応じて誤りの重さを決める。後半はTRAIL編集部の提案である。