レッドチーミングとは？意味・仕組みとAIを攻撃役で試す取り組みの年表（2026年11月時点）

ひとことで言うと

レッドチーミング（red teaming）は、攻撃する側の役を受け持つ人や AI が、AI のシステムをわざと悪用しようとして、危険や弱点を前もって見つける試験のことだ。OpenAI はレッドチーミングについての説明で、人や AI を使い、新しいシステムが持ちうるリスクを決まった手順で探ることだとしている。

身近な例は、会社が雇う「抜き打ちの訓練役」だ。訓練役が不審なメールを社員に送り、誰が添付ファイルを開くかを確かめる。Google によると、レッドチームという言葉は軍事から来ており、決められたチームが味方の「ホーム」チームに対して敵の役を演じる活動を指した。

仕組み

OpenAI は外部の専門家と行うレッドチーミングを、次の4つの段階で設計すると説明している。

1. メンバーを選ぶ：試験の目的と重点の分野に合わせて、自然科学やサイバーセキュリティ、地域の政治、言語などの専門家を集める。先に脅威のモデル（どんな攻撃や悪用がありうるかの見立て）を作り、試す分野の優先順位を決める。
2. 試すモデルの版を決める：開発の早い段階で安全対策のないモデルを試すと、能力が増えたことによる新しいリスクが分かる。ただし、予定している安全対策の穴は確かめられない。
3. 手順と道具を渡す：モデルの説明、今ある安全対策、試す分野の優先順位、結果の書き方を伝え、API や ChatGPT のような画面で試してもらう。
4. 結果をまとめて評価に変える：見つかった例が今の方針に反するか、新しい方針が要るかを判断する。質を確かめたデータは次のモデルの更新で繰り返し使える自動の評価になる。

試し方には、人が手で行う方法、AI に攻撃させる自動の方法、その組み合わせがある。OpenAI はこの3つをすべて使っているという。

Google の AI のレッドチームは、実際の攻撃者が使う手口でシステムの防御を試す。Google が挙げる主な手口は、プロンプトへの攻撃、学習データの抜き出し、特定の入力で隠れた動作をするようモデルに仕込むこと（バックドア）、誤りを誘う入力、学習データの汚染、データの持ち出しだ。

Anthropic には Frontier Red Team というチームがあり、AI のシステムに負荷をかけて試し、今の能力がどこまで及ぶかを調べている。AI がサイバーセキュリティ、国の安全保障、自律的に動くシステムに与える影響を分析している。

表で見る最新の状況

上の年表は、TRAIL の DB から、AI の安全性の試験と、セキュリティの専門家向けの利用枠に関わる出来事7件を選び、古い順に並べたものだ。確認日は2026年10月10日から10月20日。

• 2024年12月9日、OpenAI は Sora のシステムカード（モデルのリスクと対策をまとめた文書）を公開した。カードによると、9か国の外部のレッドチームが2024年9月から12月にかけて Sora を試した。2025年9月30日には Sora 2 のシステムカードも出た。
• 2025年8月25日、Anthropic は Claude in Chrome の試験提供を始めた。Anthropic はレッドチームの演習で、対策のない状態ではプロンプトインジェクションの攻撃成功率が23.6%だったと公表した。自律モードに安全対策を加えると、11.2%に下がったという。
• 2026年8月10日、Codex に承認された防御担当者向けの利用枠ができた。そのうち Red は脆弱性の再現やペネトレーションテスト（システムに侵入を試みる検査）向けだ。
• 2026年8月13日、Cursor は AI エージェントの安全性の認証 AIUC-1 を取得した。第三者の Schellman が数千のシナリオで検証し、四半期ごとの再テストが義務づけられている。
• 2026年8月14日、Meta は Muse Spark 1.1 の外部のサイバー評価で起きた問題を公表した。設定の誤りで、公開前のモデルがインターネットに接続できたという。
• 2026年10月6日、Anthropic はセキュリティの専門家向けの利用審査を3段階に改め、その1つを Red Team Access とした。

Codex の Red と Anthropic の Red Team Access は、専門家が使えるモデルの利用枠で、提供元がモデルのリスクを探るレッドチーミングの試験そのものではない。

TRAIL の年表では、2026年8月以降、セキュリティの専門家に向けた利用枠と、外部の試験に関わる出来事が続いている。

その下の「原論文と関連研究」には、AI のエージェントを攻撃の文章で試した論文2本を並べた。2025年4月22日の WASP は、Web のページに紛れた指示で AI の行動がそれるかを隔離したサイトで調べた。2026年7月22日の IssueTrojanBench は、開発の課題の文章に悪意のある指示を紛れ込ませ、4,176回の試行で調べた。

人によるレッドチーミングと自動のレッドチーミングの違い

OpenAI は2024年11月21日の研究で、攻撃の多様さに報酬を与え、種類が多くて効く攻撃を作らせる方法を示した。OpenAI によると、人が見つける多様な例を、自動の方法が大きな規模で補う関係にある。

仕事でどう関係するか

自社の AI のアプリを公開する前

Google は、大規模な公共のシステムで使う重要な AI を守るため、すべての組織が定期的にレッドチームの演習をするよう勧めている。日本の AI セーフティ・インスティテュート（AISI）は、2024年9月25日に「AIセーフティに関するレッドチーミング手法ガイド」を公開した。2025年3月31日の第1.10版では、RAG（外部の文書を検索して答える仕組み）を使った AI のシステムに実際にレッドチーミングを行い、手順を詳しく解説している。

試す攻撃を洗い出すとき

Google が挙げる手口のうち、社内の文書やメールを AI に読ませるアプリでは、プロンプトインジェクション（AI が読む文章に指示を紛れ込ませる攻撃）が身近だ。試験の材料を AI に作らせる場合は、次のように頼める。

当社の社内向け問い合わせチャットボットの試験をします。
利用者が社外秘の資料を引き出そうとする質問の例を10個、手口の種類ごとに分けて書いてください。

提供元のシステムカードを読むとき

OpenAI はレッドチーミングで得た知見の多くをシステムカードやブログで公開してきたと書いている。読むときは、どの版のモデルを試したかを確かめる。OpenAI によると、安全対策のない版を試す場合と、対策を入れた版を試す場合では、分かることが違う。

見つかった弱点を扱うとき

見つけた攻撃の手口は、それ自体が悪用の材料になりうる。OpenAI はまだ広く知られていないジェイルブレイク（安全の決まりを破らせる入力）を明かすと、悪用を早めるおそれがあると書き、情報の管理と責任ある開示が必要だとしている。

注意点と限界

• 一度の試験で安全が確かめられるわけではない。OpenAI は、レッドチーミングはある時点のリスクをとらえるもので、モデルが変わるとリスクも変わりうると書いている。
• すぐに直せない弱点もある。Google は、見つかった問題には簡単な修正がないものもあると書いている。一方で、システムとモデルをきちんと閉じるといった従来のセキュリティ対策で、リスクを大きく減らせるともいう。
• 言葉の幅が広い。OpenAI は、レッドチーミングという語が、能力の探索から安全対策の負荷試験、自動の攻撃まで、さまざまな評価を指して使われてきたと書く。誤った安心感を与えないように、より明確な言葉を使う取り組みをしているという。
• 試験の環境そのものにも注意が要る。TRAIL の年表では、Muse Spark 1.1 の外部評価で、設定の誤りから公開前のモデルがインターネットに接続できた。

よくある質問

関連する用語

• 用語：ガードレール、プロンプトインジェクション、RAG、AIエージェント、ベンチマーク
• ツール：ChatGPT、Claude、Sora、Codex、Cursor
• 研究：WASP 論文の解説、IssueTrojanBench 論文の解説