- SHAPは個別の予測を基準値と特徴量ごとの寄与に分解する枠組みだ。
- 論文は局所的な一致、欠けた特徴量の扱い、一貫性という条件を整理した。
- 寄与の値は「特徴量を隠した状態」をどう作るか、計算近似をどう行うかに依存する。
何を確かめた研究か
SHAPの原論文は、ある予測がなぜ出たかを特徴量ごとに説明する方法をまとめる。たとえば審査モデルの一件の予測について、年齢や取引履歴が出力を基準からどれだけ押し上げ、あるいは押し下げたかを表す。データ全体で重要な特徴量を並べることと、一件の判断への寄与を示すことは違う。
著者らは、LIMEやDeepLIFTなど六つの既存手法を加法的な特徴量寄与の一つの形式で捉える。説明モデルの出力が元モデルのその入力での出力と一致する「局所的な一致」、入力に存在しない特徴量への寄与をゼロにする「欠損」、特徴量の影響が増えた時に寄与が減らない「一貫性」を条件にした。
どう検証したか
論文はこれらの条件を満たす寄与の一意な解がShapley値になるという理論結果を示す。その上でKernel SHAPとDeep SHAPという近似法を作り、線形モデルや深層モデルで既存法と比較した。人が二つの症状に分ける寄与をどう考えるかという小規模な実験も行う。理論は定義された加法的説明のクラス内の性質であり、説明が現実の原因を発見したという主張ではない。
何が分かったか
一件の予測を足し合わせ可能な寄与として説明する共通の物差しができた。元モデルの出力に一致することと、モデルを変えた時の寄与の向きが矛盾しないことを同時に論じられる。図3では線形モデルの係数を変えた際、Kernel SHAPがShapley値に近い寄与を示し、一部の既存近似には一貫性を満たさない場合がある。図4の人手実験は、単純化した症状の例で直感との一致を確認するものだ。
限界と仕事との接点
「特徴量を隠す」処理では、残る特徴量の分布をどう扱うかが重要だ。強く相関する特徴量があると、別々に寄与を割り当てる値は設定に敏感になる。計算を速くする実装は厳密なShapley値ではなく近似の場合もある。説明を業務で使うなら、基準値、参照データ、特徴量の相関、近似方法を一緒に記録し、説明値だけで原因や公平性を断定しない。後半はTRAIL編集部の提案である。