ガードレールとは？意味・仕組みとAIの安全対策の年表（2026年11月時点）

ひとことで言うと

ガードレールは、AI のアプリに入る文章と AI が出す文章を検査し、問題があれば止めたり書き換えたりする安全対策の仕組みだ。OpenAI は AI エージェントを作る道具の説明で、利用者の入力とエージェントの出力を検査・検証する機能をガードレールと呼んでいる。

たとえば、性能が高く料金も高いモデルで顧客の問い合わせに答えるエージェントがあるとする。OpenAI はこの例で、悪意のある利用者に数学の宿題を手伝わせたくないと書いている。そこで先に速くて安いモデルで入力を調べ、悪用を見つけたらその場で止める。こうすると時間と費用を節約できるという。

仕組み

各社の説明をまとめると、ガードレールは次の場所に置かれる。

• 入力の検査：利用者の依頼がモデルに届く前に調べる。Anthropic は Claude Haiku 5.5 のような軽いモデルで入力を先に選別する方法を「harmlessness screens」として勧めている。
• 出力の検査：モデルが出した最終の答えを、利用者に見せる前に調べる。OpenAI のエージェントの道具では、入力用と出力用の2種類がある。
• ツールの検査：AI が関数などのツールを呼ぶたびに、実行の前と後で調べる。OpenAI は、複数のエージェントが担当を引き継ぐ流れでツールの呼び出しごとに調べたいときは、この検査を使うよう勧めている。
• 有害な内容の分類：OpenAI のモデレーション（有害な内容の判定）のモデル omni-moderation-latest は、文章と画像を調べられる。音声は分類しない。OpenAI によると、判定の API は無料で使える。
• 止める基準の設定：Google の Gemini API では、嫌がらせ、ヘイトスピーチ、性的な内容、危険な内容、ジェイルブレイク（安全の決まりを破らせる入力）の5つの分類ごとに、止める強さを選べる。

OpenAI のエージェントの道具では、入力の検査に2つの動かし方がある。初期設定では、検査とエージェントが同時に動く。待ち時間は短いが、検査が問題を見つけたときには、エージェントがすでにトークン（AI が文章を数える単位）を使い、ツールを動かしていることがある。検査が終わるまでエージェントを待たせる方法を選ぶと、問題があったときにエージェントは動かない。

Google は、止める判断は害の重さでなく、安全でない確率で決まると説明している。「ロボットに殴られた」と「ロボットに切りつけられた」では、前者のほうが確率は高く出ることがあるが、重いと感じるのは後者かもしれないという。

表で見る最新の状況

上の年表は、TRAIL の DB から、AI のサービスに安全のための判定や制限が加わった出来事9件を選び、古い順に並べたものだ。確認日は2026年10月10日から10月30日。

• 2025年9月29日、ChatGPT に保護者が子どものアカウントを連携し、利用の制限や通知を設定できる機能が入った。2026年8月18日には、18歳未満と推定される利用者などを ChatGPT for Teens に自動で移す仕組みが加わった。
• Claude Code は2026年3月24日に「自動モード（Auto mode）を公開」した。権限の確認を分類モデルに任せ、安全な操作は止めずに実行し、危険な操作は止める。
• 2026年6月9日の「Claude Fable 5 と Mythos 5 を公開」では、同じ基盤のモデルで安全装置を緩めた Mythos 5 が、認可された防御担当者向けに出た。7月24日の Claude Opus 5 では、Claude Code で安全上の判定に掛かった要求が、既定で Opus 4.8 に切り替わる。
• 2026年7月1日、Grok の音声エージェントを作る基盤「Voice Agent Builder をベータ公開」した。電話、知識検索、ツールと並んで、ガードレールを備える。
• 2026年10月20日には、Claude Enterprise の「Inference hooks がベータを終了」した。利用者のプロンプトを推論の前に組織の AI セキュリティサーバーへ送り、拒否された依頼はモデルに届かない。
• 2026年10月26日、GitHub Copilot は「操作の許可を AI が判定する機能を一般提供」した。10月30日には、Gemini API の「Computer Use ツールを一般提供」した。このツールはプレビューの時点で、設定できる安全ポリシーとプロンプトインジェクションの検出を備えていた。

TRAIL の年表では、2026年10月20日から30日に、判定の仕組みや安全ポリシーを持つ機能がベータを終えたり一般提供になったりする出来事が3件続いた。

ガードレールとモデルに組み込まれた安全性の違い

Google の Gemini API では、Gemini 2.5 以降のモデルで分類ごとの初期設定が「無効」になっている。止める設定を緩めたアプリは審査の対象になることがあるとも書いている。

仕事でどう関係するか

社外の人が使うチャットボットを作るとき

社外の人が自由に入力できるなら、入力の検査を前に置く方法がある。Anthropic は同じ種類の拒否を何度も起こす利用者には利用規約違反だと伝え、利用の制限や停止も検討するよう書いている。

あなたは入力の検査係です。次の利用者の入力が、当社のサービスの問い合わせとして扱ってよい内容かを判定してください。
答えは「許可」か「拒否」のどちらか一語だけにしてください。
利用者の入力：{{入力}}

AI にメールや文書を読ませて作業させるとき

外から来た文章に指示が仕込まれていると、AI がそれに従うおそれがある。これをプロンプトインジェクションと呼ぶ。Anthropic は、外の文章はツールの結果の欄に入れ、信頼できないデータだとシステムプロンプトに書くよう勧めている。AI に渡す権限は必要な分だけに絞り、ツールは隔離した環境で動かす。

費用と待ち時間を見積もるとき

検査を足すと、そのぶん処理が増える。OpenAI の道具では検査とエージェントを同時に動かすと速いが、止まる前に費用がかかることがある。検査を先に終わらせる設定は、費用を抑えたいときと、ツールの実行で困ることが起きるのを避けたいときに向くという。

注意点と限界

• Gemini API の安全フィルターは確率で判断する。Google は、害が重くても安全でない確率が低く出る内容があるとして、用途に合う止める強さを慎重に試すよう求めている。
• 1つの対策では足りない。Anthropic はいくつもの対策を重ねる「chain safeguards」の例を示し、出力を定期的に分析して、プロンプトや検査を直し続けるよう勧めている。
• 公開の前に、自分のアプリを攻撃する試験をしておく。Anthropic は指示を仕込んだ文書やメールで試し、AI が従わないことと、検査で止まることを確かめるよう書いている。
• OpenAI のモデレーションは児童の性的虐待の素材の検出のための道具ではない。OpenAI はそうした素材を API に送らないよう求めている。

よくある質問

関連する用語

• プロンプトインジェクション：AI が読む文章に指示を紛れ込ませる攻撃
• AIエージェント：ガードレールで入力や操作を検査する対象になる
• コンピューターユース：AI が画面を操作する機能。安全ポリシーの設定がある
• ハルシネーション：AI が事実と違うことを答える現象
• ツール：ChatGPT、Claude、Claude Code、Gemini、GitHub Copilot