- Integrated Gradientsは、基準入力から対象入力までの道筋に沿う勾配を集め、入力要素ごとの寄与を計算する。
- 感度と実装不変性という二条件を軸に、単純な勾配図の弱点を説明した。
- 寄与は基準入力との差であり、基準を変えると説明も変わる。
何を確かめた研究か
Integrated Gradientsの原論文は、深層モデルのある出力に画像のどの画素や文章のどの語が関わったかを割り当てる方法を提案する。出力に影響がある要素には寄与を与える「感度」と、同じ関数を計算する二つのモデルなら同じ説明にする「実装不変性」を望ましい条件とした。
通常の入力点での勾配は、モデルがその点で飽和しているとゼロになり得る。入力を変えれば出力が変わるのに、説明上は寄与がないという問題がある。提案法は空白などの基準入力から対象入力まで直線を引き、その途中の勾配を積分する。
どう検証したか
数学的には、各要素の寄与の合計が対象入力と基準入力のモデル出力の差に一致する「完全性」を示す。画像認識、文章分類、化学モデルの例で、注目領域や語が何になるかを調べた。図の可視化には、モデルが使った情報の手掛かりはあるが、説明の正しさを単一の正解ラベルで採点するのは難しいと論文自身が述べる。
何が分かったか
勾配を一点で見る方法が感度に反する例を示し、道筋上の勾配を集める方法ならその問題を避けられる。画像では黒画像、文章ではゼロ埋め込みを基準とする例を使った。糖尿病性網膜症の画像や質問分類で、モデルが強く反応する領域・語を視覚化した。ただし寄与は元モデルの動作の説明であり、病気の原因や質問の意味を独立に証明するものではない。
SHAPと同じく一件の予測に注目するが、Integrated Gradientsはニューラルネットの入力から出力への勾配を利用する。理論上の条件も異なり、二つの手法の数値を直接比べて「正しい説明」を一つ選ぶことはできない。
限界と仕事との接点
基準に黒画像を選ぶか別の画像を選ぶかで経路上の勾配が変わる。論文は、出力が低いだけの敵対的な基準画像では不要な模様が説明に混ざり得ると注意する。数値計算では積分を近似するため、刻み数も確認したい。実務で可視化を使うなら、基準入力と対象出力、近似設定を記録し、複数の妥当な基準で結論が変わらないか試す。最後はTRAIL編集部の提案である。