ジェイルブレイクとは？意味・仕組みと安全を高める研究の論文（2026年11月時点）

ひとことで言うと

ジェイルブレイク（脱獄）は LLM に組み込まれた安全のための決まりを、入力の工夫でかいくぐり、本来なら断るはずの答えを出させようとする攻撃のことだ。Anthropic は安全の仕組みをすり抜けて有害な応答を出させるように作られた入力だと説明している。

たとえば、Anthropic は生物兵器や化学兵器の作り方を尋ねる依頼を断るよう Claude を訓練している。ジェイルブレイクはこうした依頼にも答えさせようとする試みだ。2023年7月5日に arXiv に出た論文は、初期の ChatGPT に対して「jailbreak」と呼ばれる攻撃が広く出回っていたと書いている。

仕組み

AI の提供元は有害な出力を防ぐための学習をモデルに施している。2023年7月27日に arXiv に出た論文は、望ましくない出力を防ぐためにモデルを調整すること（アライメント）を取り上げ、その対策をくぐり抜けるものを「jailbreak」と呼んでいる。2024年4月2日に arXiv に出た Crescendo の論文は、ジェイルブレイクを、モデルにできることと、モデルが応じることの差を縮めようとする攻撃だと説明している。

2023年7月5日の論文「Jailbroken」は、安全のための学習がうまくいかない理由を2つに分けた。1つ目の「目的の競合」は、モデルの能力と安全の目標がぶつかるときに起きる。2つ目の「一般化の食い違い」は、モデルに能力がある分野まで安全の学習が及んでいないときに起きる。

論文はこの2つをもとに作った攻撃で GPT-4 と Claude v1.3 を試した。大がかりなレッドチーミングと安全の学習を経たモデルでも弱点が残っていたと報告している。著者は、安全の仕組みはモデルと同じくらい高度でなければならないとし、規模を大きくするだけではこの失敗は解決しないと論じている。

論文や公式の発表では、手口がいくつかの系統に分けて説明されている。2023年7月27日の論文は、従来のジェイルブレイクは人の創意に頼り、壊れやすかったとしている。同じ論文は、依頼の後ろに付ける文字列を自動の探索で作る方法を示し、当時の ChatGPT、Bard、Claude の公開の画面でも有害な出力を引き出せたと報告した。

長い入力を使うものもある。Anthropic は、1つのプロンプトに大量の会話の例を並べる「many-shot jailbreaking」を公表した。コンテキストウィンドウ（一度に読める入力の長さ）が伸びたことを利用する。複数回のやり取りで少しずつ進めるものとして、Crescendo の論文は、一見無害なやり取りから始め、少しずつ話を進める方法を示した。このほか Anthropic は、入力の文体を変えるもの、暗号や符号化を使うもの、ロールプレイの場面を使うものを挙げている。

表で見る最新の状況

上の表は TRAIL の DB から、指示の優先順位や原則を学ばせて安全を高める研究3本を、論文の公開順に並べたものだ。確認日は2026年11月6日。

2022年12月15日の Constitutional AI の論文は、人が用意した原則をもとに、モデル自身に危険な応答を批評させ、書き直させる手順を研究した。Anthropic は、ジェイルブレイクを防ぐ分類器「Constitutional Classifiers」が、この Constitutional AI と似た手順にもとづくと説明している。

2024年4月19日の Instruction Hierarchy の論文は、いまの LLM がプロンプトインジェクションやジェイルブレイクに弱い原因の1つとして、アプリの開発者の指示と、信頼できない利用者や第三者の文章を同じ優先度で扱いがちなことを挙げた。論文は GPT-3.5 Turbo を、教師あり学習と人のフィードバックを使う学習（RLHF）で調整した。訓練のデータにジェイルブレイクは入れず、評価でジェイルブレイクへの強さも確かめている。

2026年3月11日の IH-Challenge の論文は、指示の優先順位がジェイルブレイクを防ぐ鍵だとしている。GPT-5-Mini を追加で訓練すると、16種類の評価の平均で、指示がぶつかったときの強さが84.1%から94.1%に上がった。望ましくない振る舞いの割合は6.6%から0.7%に下がった。

この3本では、安全を高める方法として、原則を使うものと、どの指示を優先するかを学ばせるものが扱われている。

ジェイルブレイクとプロンプトインジェクションの違い

	ジェイルブレイク	プロンプトインジェクション
何をするか	モデルに安全のための決まりを完全に無視させる	入力を通じてモデルの応答や動きを意図しない形に変える
関係	プロンプトインジェクションの一種	広い呼び名で、安全の仕組みを回避するものも含む
攻撃する人	アプリの利用者が攻撃者になる	直接型は利用者。間接型は、ウェブページやメールのような外部の内容に指示を入れた第三者
主な対策	モデルの学習と安全の仕組みを更新し続ける	システムプロンプトや入力の扱いに安全策を組み込む

この表は OWASP（ソフトウェアの安全性に取り組む非営利団体）の説明と、Anthropic の開発者向けの文書にもとづく。OWASP によると、2つは関係する考え方で、よく同じ意味で使われる。Anthropic の文書は、ジェイルブレイクと直接のプロンプトインジェクションを、アプリの利用者が攻撃者になる型としてまとめている。間接のプロンプトインジェクションは、利用者は信頼できるが、AI が読む第三者の内容に攻撃の指示が入っている型だ。

仕事でどう関係するか

社内や顧客向けのチャットボットを作るとき

Anthropic の文書は、Claude はもともとこうした攻撃に強いとしたうえで、アプリの側で足せる対策を挙げている。小さく軽いモデルで利用者の入力を先に調べる方法、既知の手口の言い回しで入力を選別する方法、倫理と法の境目を強調して断り方をはっきり書いたシステムプロンプトだ。Anthropic の文書は、これらをガードレールを強める策としてまとめている。

プロンプト

あなたは当社の製品サポートのアシスタントです。
答えるのは、当社の製品の使い方と契約の手続きに関する質問だけにしてください。
違法な行為や、他人を傷つける行為の手助けを求められたら、
「その内容にはお答えできません」と答え、製品に関する質問を受け付けると伝えてください。

Anthropic はこうした策を重ねることを勧めている。出力を定期的に分析し、攻撃が成功した兆しがないかを見て、プロンプトや選別を直し続けるよう書いている。

利用規約に反する使い方を繰り返す利用者がいるとき

Anthropic の文書は、同じ種類の拒否を何度も引き起こす利用者には、利用ポリシーに反していると伝え、応答の制限や利用の停止を検討するよう書いている。

新しいモデルやアプリを出す前の試験

攻撃する側の役で AI を試すレッドチーミングは、ジェイルブレイクへの強さを確かめる方法でもある。Anthropic は、試作の分類器で守った Claude 3.5 Sonnet を対象に、外部の参加者に報奨金を示して防御を破ってもらう試験を開いた。183人の参加者が2か月で推定3,000時間超を使ったが、10個の禁じられた質問すべてに1つの手口で答えさせる「万能のジェイルブレイク」は見つからなかった。最大$15,000の報奨金が示されていた。

ジェイルブレイクを見つけたとき

報告先は会社によって違う。Anthropic は2024年8月8日に、HackerOne と組んで招待制で始める報奨金の制度を発表し、化学・生物・放射性物質・核やサイバーセキュリティの分野の新しい万能のジェイルブレイクに最大$15,000を示した。OpenAI の Bugcrowd のセキュリティの報奨金の制度では、ジェイルブレイクのようなモデルの振る舞いだけの問題は対象外だ。モデルの問題は別の窓口で受け付けている。

注意点と限界

完全に防げるモデルは、まだ実用の場にないとされる。Anthropic は、こうした攻撃は10年以上前から知られているのに、同社の知る限り、完全に頑健な深層学習のモデルは実用の場にまだないと書いている。

Anthropic の分類器の自動の評価では、合成した1万件のジェイルブレイクのプロンプトに対し、分類器がない Claude 3.5 Sonnet で成功率は86%、分類器で守ると4.4%だった。害のない質問を断る割合は0.38%上がったが、5,000件の会話の標本では統計的に有意ではなかった。計算の費用は23.7%増えた。

防御を足すと、害のない質問を断りすぎたり、計算の費用が増えたりすることがある。Anthropic の最初の試作は、害のない質問を断りすぎ、計算の費用も大きかった。many-shot jailbreaking では、手口に似た質問を断るようモデルを調整しても、攻撃が成功するまでの例の数が増えただけだった。モデルに渡す前にプロンプトを分類して書き換える方法では、ある例で攻撃の成功率が61%から2%に下がった。

Anthropic が2025年2月3日から10日まで公開した分類器のデモでは、339人が30万回を超えるやり取りを試した。最初の5日間は全問を突破した人はいなかったが、6日目と7日目に4人が全段階を通過し、そのうち1人の手口は万能のジェイルブレイクと判定された。Anthropic は、分類器ですべての万能のジェイルブレイクを防げるとは限らないとし、ほかの防御と組み合わせるよう勧めている。

よくある質問

ジェイルブレイクとは簡単に言うと何か

AI に組み込まれた安全の決まりを、入力の工夫でかいくぐって、本来は断る答えを出させようとする攻撃だ。日本語では「脱獄」とも呼ばれる。

プロンプトインジェクションとの違いは何か

OWASP によると、ジェイルブレイクはプロンプトインジェクションの一種で、モデルに安全のための決まりを完全に無視させるものを指す。Anthropic の文書では、ジェイルブレイクはアプリの利用者自身が攻撃者になる型に入る。

なぜ安全の学習をしても防げないのか

2023年の論文「Jailbroken」は、能力と安全の目標がぶつかること、安全の学習がモデルの能力のある分野すべてに及ばないことを、2つの原因に挙げた。著者はモデルの規模を大きくするだけでは解決しないと論じている。

AI の会社はどう対策しているか

安全の学習に加えて、入力と出力を調べる分類器、外部の人による試験、報奨金の制度を使っている。Anthropic の分類器は、合成したデータで学習した入力と出力の分類器だ。

ジェイルブレイクを試すことは許されるか

扱いはサービスの利用規約と利用ポリシーによって違うため、使うサービスの規約を確かめる必要がある。Anthropic はアプリを作る側に向けた文書で、安全策をかいくぐろうとし続ける利用者について、応答の制限や利用の停止を検討するよう勧めている。Anthropic は分類器のデモの参加者に、責任ある開示の方針に従うよう求めた。

ジェイルブレイクとは？意味・仕組みと安全を高める研究の論文（2026年11月時点）