説明可能なAI（XAI）とは？意味・仕組みと手法の論文（2026年11月時点）

ひとことで言うと

説明可能なAI（XAI、Explainable AI）は、AI がなぜその答えや予測を出したのかを、人が理解できるようにする考え方と技術のことだ。米国の国立標準技術研究所（NIST）は、AI のリスク管理の枠組み（AI RMF）で、信頼できる AI の特徴の1つに「説明可能で解釈可能」を挙げている。

2016年の LIME の論文には、こんな例が載っている。患者がインフルエンザだと予測したモデルについて、くしゃみと頭痛は予測を支え、「疲れがない」ことは予測に反する証拠だと示す。医師はこの説明を手がかりに、モデルの予測を信じるかどうかを決められる、と論文は書いている。

仕組み

ニューラルネットワークやディープラーニングのモデルは、中で何を計算したかが外から分かりにくい。LIME の論文は、機械学習のモデルは広く使われているのに、大半がまだブラックボックス（中の動きが分からない箱）だと書いた。2017年の SHAP の論文も、大きなデータで精度が最も高いのは専門家でも解釈に苦労する複雑なモデルであることが多く、精度と解釈のしやすさがぶつかると指摘している。

この問題に対して、答えを出したあとのモデルを外から調べる手法が提案されてきた。ここでは次の4つを取り上げる。

LIME（2016年2月）：説明したい1件の予測のまわりで入力を少しずつ変え、元のモデルの答えを、人が読める単純なモデルで近似する。文章なら単語、画像なら似た画素のまとまりがあるかないかで説明する。どんな分類のモデルにも使える。
SHAP（2017年5月）：1件の予測について、特徴量（予測に使う入力の項目）ごとに重要度の値を割り当てる。論文は既存の6つの手法を1つの枠組みにまとめ、望ましい性質をそろえて満たす解がこの枠組みの中で1つに決まることを示した。
Grad-CAM（2016年10月）：画像を扱う CNN（畳み込みニューラルネットワーク）で、答えに効いた画像の場所を粗い地図で示す。論文によると、最後の畳み込みの層に流れ込む勾配（ある値を少し変えたとき、答えがどれだけ変わるかを表す値）を使い、モデルの構造を変えたり学習し直したりせずに使える。
特徴量の重要度：モデル全体として、どの項目にどれだけ頼っているかを測る。scikit-learn の説明では、順列重要度（permutation importance）は1つの特徴量の値をランダムに並べ替え、モデルの成績がどれだけ下がるかを見る。

LIME の論文は、1件の予測のまわりで正しい説明が、モデル全体でも正しいとは限らないと断っている。

LLM（大規模言語モデル）では、モデルの中の計算そのものを読み解く研究が進んでいる。機械的解釈可能性（mechanistic interpretability）と呼ばれる分野だ。Anthropic は2024年5月21日、辞書学習という方法で、Claude 3.0 Sonnet の中間の層から数百万の「特徴」を取り出したと発表した。特徴はニューロンの活性化のパターンのうち、人が分かる概念に対応するものだ。Anthropic は特徴を人工的に強めたり弱めたりするとふるまいが変わることから、特徴が概念と結びつくだけでなく、ふるまいを形づくっていると説明している。

Anthropic は2025年3月27日に2本の論文を発表した。特徴どうしをつないだ「回路」をたどり、Claude に入った言葉が出ていく言葉に変わる道筋の一部を示した。

表で見る最新の状況

上の論文の一覧は TRAIL の DB にある説明の手法と解釈の研究4本だ。TRAIL が研究記事を公開したのは2026年10月14日と15日だ。

2017年3月の Integrated Gradients は、基準の入力から実際の入力までの勾配を積分し、画素や単語の寄与を求める。ただし、寄与の見え方は基準の入力の選び方に左右される。2017年5月の SHAP は、TRAIL の研究記事によると、説明に求める条件を Shapley 値が満たすことを示した。2019年3月の GNN Explainer は、グラフを扱うニューラルネットの予測を保つ小さな部分グラフと特徴量を探し、どの関係が判断に効いたかを示した。

2025年12月の Monitoring Monitorability は、AI の推論の記録を監視する力を測った研究だ。記録を見せると行動だけを見る場合より問題を見つけやすくなる傾向があったが、監視に使うモデルや評価の課題で結果は変わる。

TRAIL の DB の4本のうち、2017年から2019年の3本はどの入力が予測に効いたかを示す方法で、2025年の1本は推論の記録を監視に使う研究だ。

説明可能なAIと機械的解釈可能性、思考の表示の違い

	LIME・SHAP などの説明の手法	機械的解釈可能性	推論モデルの思考の表示
何を見るか	入力と出力の関係	モデルの中の活性化と、そのつながり	モデルが書いた途中の考え
出てくるもの	単語や画素、特徴量ごとの寄与	概念に対応する特徴、特徴をつなぐ回路	答えの前に書かれた文章
対象	表や文章、画像の予測	LLM などのモデルの内部	推論モデルの答え
主な限界	1件のまわりの説明が、全体でも正しいとは限らない	計算の一部しか捉えられない	内部の計算をそのまま表すとは限らない

NIST は似た3つの言葉を答える問いで分けている。透明性はシステムで「何が起きたか」、説明可能性は判断が「どのように」なされたか、解釈可能性は「なぜ」その判断になり、利用者にとって何を意味するかに答える。

仕事でどう関係するか

予測モデルの導入を決めるとき

LIME の論文は狼の写真には雪の背景、ハスキーの写真には雪のない背景を選んだ20枚で分類器を学習させ、雪があれば「狼」と答える悪いモデルを作った。説明を見る前は27人中10人がこのモデルを信頼し、雪を手がかりに挙げたのは12人だった。説明を見たあとは、信頼したのが3人、雪を挙げたのが25人になった。論文は、検証用のデータでの評価だけでは信頼を決められないとも書いている。説明は、モデルが頼っている誤った手がかりを見つける助けになる。

審査や判定に AI を使うとき

EU AI法の第86条は説明を受ける権利を定めた。対象は附属書 III に挙げた高リスクの AI システム（第2号のものを除く）の出力をもとに、導入した側（deployer）が下した決定だ。その決定で法的な効果か同じくらい重大な影響を受け、健康、安全、基本的な権利に悪い影響があると考える人は、AI システムが果たした役割と決定の主な要素について、導入した側から明確で意味のある説明を得られる。ほかの EU の法で同じ権利が定められている場合などは、この条は当てはまらない。第13条は高リスクの AI システムを、導入した側が出力を解釈して適切に使えるだけの透明性を持つように設計することを求めている。改正後の第113条では、附属書 III の高リスクの AI システムへのこの義務は2027年12月2日から適用される。

NIST は、説明は使う人の役割や知識、技能に合わせるとよいとしている。説明できるシステムは不具合を探しやすく、監視しやすく、記録や監査にも向くと書いている。

AI が示した理由を読むとき

AI が自分で書いた理由は、内部の計算をそのまま表すとは限らない。Anthropic の2025年3月の研究では、Claude が36+59を、おおよその値を出す道筋と1の位を正確に決める道筋を並行して使って計算している様子が見えた。ところが計算の仕方を聞かれると、学校で習う繰り上がりの筆算を説明した。答えのヒントを与えると、ヒントの答えに合う途中の手順を逆向きに作ることもあった。

Anthropic は Claude 3.7 Sonnet のように長く考えてから答えるモデルでも、思考の連鎖が誤解を招くことがあり、もっともらしい手順を作ることがあると書いている。理由を頼むときは、元の資料のどこに当たるかを示させ、人が照らし合わせられる形にする。

プロンプト

この契約書について、解約の条件をまとめてください。
各条件のあとに、根拠にした条項の番号と、その条項の原文をそのまま引用してください。
原文に書かれていない条件は書かないでください。

特徴量の重要度を報告に使うとき

scikit-learn の説明は、成績の悪いモデルで重要度が低い特徴量も、良いモデルではとても重要になりうると注意している。計算の前に、学習に使っていないデータでモデルを評価する必要がある。順列重要度が示すのは、その特定のモデルにとっての重要さだ。強く相関する特徴量があると、両方の値が低く出ることがある。

注意点と限界

説明は近似だ。LIME の論文はモデルそのものを丸ごと記述しない限り、説明が完全に忠実であることはたいてい不可能だと書いている。そのうえで、少なくとも説明する1件のまわりでモデルの動きと合っていることを求めた。

説明の数字は何と比べたかで変わる。TRAIL の研究記事は、SHAP では基準の値と「特徴量がない」状態の決め方を、Integrated Gradients ではどの基準の入力との差かを確かめるよう勧めている。

人に分かる説明には量の限りがある。LIME の論文は、何百、何千もの特徴量が予測に効いているなら、利用者が理由を理解するのは無理だとし、分かりやすさは読む人によって変わるとした。

機械的解釈可能性はまだ一部しか見えていない。Anthropic は2024年5月、見つけた特徴は学習で身につけた概念のごく一部で、今の方法ですべてを見つけるには、モデルの学習に使った計算をはるかに超える計算が要るとした。2025年3月には短く単純なプロンプトでも計算の一部しか捉えられず、数十語のプロンプトの回路を理解するのに人の手で数時間かかると書いている。見えた仕組みにも、調べる道具による見かけが混じっているおそれがあるという。

よくある質問

XAI と説明可能なAIは同じものか

同じものを指す。XAI は Explainable AI（Explainable Artificial Intelligence）の略だ。米国の国防高等研究計画局（DARPA）は、同じ名前の研究プログラムで、人が AI を理解し、適切に信頼し、うまく扱えるようにすることを目標に掲げた。

LIME と SHAP はどう違うか

どちらも1件の予測を、入力の項目ごとの効き方に分けて示す。LIME は予測のまわりで単純なモデルを当てはめて近似する。SHAP は既存の6つの手法を1つの枠組みにまとめ、望ましい性質を満たす値が1つに決まることを示した。

AI が見せる思考は、答えの理由の説明になるか

そのまま理由を表すとは限らない。Anthropic は、Claude 3.7 Sonnet などが書く思考の連鎖が誤解を招くことがあるとし、計算の仕方を聞かれた Claude が、研究で見えた内部の道筋とは違う筆算を説明した例も示した。思考の文章は手がかりの1つとして読み、元の資料や計算と照らして確かめる。

説明可能なAIは法律で求められているか

EU では、AI法が高リスクの AI システムに、導入した側が出力を解釈できるだけの透明性を求め、その出力をもとにした決定で影響を受けた人に、説明を受ける権利を定めた。説明を受ける権利の対象は附属書 III に挙げた高リスクの AI システムの出力にもとづく決定だ。このページは法的な助言ではない。自社が対象になるかは条文と専門家に確かめる必要がある。