AI用語の基礎知識
【第19回】「ガードレール」とは──AIの“暴走・脱線”を防ぐ安全装置
2026年8月18日 12:13
「AIが自分で考えてコードを書き、業務をこなしてくれる」──AIエージェントが急速に進化しています。一方で、「もしAIが暴走して、取り返しのつかない事故を起こしたら？」という心配も出てきました。
そこで重要になるのが、AIの「ガードレール」です。
連載第9回の「『プロンプト・インジェクション』とは」では、AIを騙して不正な動作をさせる攻撃を取り上げました。そうした攻撃や、AIによる意図しない動作を食い止める安全装置もガードレールの役割です。
【第9回】「プロンプト・インジェクション」とは
https://ai.watch.impress.co.jp/docs/serial/glossary/2115094.html
AIが「危険な崖」に落ちないための防護柵
ガードレールと聞けば、道路脇にある金属製の防護柵を思い浮かべるでしょう。ハンドル操作を誤っても、車が道路から飛び出さないためのものです。
AIのガードレールもイメージは同じです。
AI（LLM）は、どんなに高性能でも、事実と異なる回答をしたり、不適切な発言をしたり、悪意ある指示に誘導されたりする可能性があります。そこで、入力する情報、AIが生成した回答、さらにAIが実際に行なう操作などをチェックし、危険な処理を止める仕組みを設けます。
ポイントは、AIに「危険なことはしないでね」とお願いするだけでなく、システム側にも「越えられない壁」を用意することです。
わずか9秒でデータベース削除
なぜ「お願い」だけでは不十分なのか。それを象徴する事故が2026年4月にありました。
米PocketOSで、コーディングAIエージェント「Cursor」が作業中に認証情報の不一致に遭遇。問題を自力で解決しようとする中で強力な権限を持つAPIトークンを見つけ、確認を挟まず、本番データベースとボリュームレベルのバックアップを削除してしまったのです。かかった時間は、わずか9秒でした。
PC Watchでは「AIがガードレール無視、9秒で企業のデータベースを全削除する事故」として報じられました。
【やじうまPC Watch】
AIがガードレール無視、9秒で企業のデータベースを全削除する事故
https://pc.watch.impress.co.jp/docs/news/yajiuma/2105658.html
しかも、AIには破壊的な操作を避けるための指示が与えられていました。それでもAIはそのルールに反する操作を実行してしまいました。
つまり、AI自身の「自制心」に安全を任せるだけでは足りないのです。
ガードレールはどこで働く？
ガードレールにはさまざまな仕組みがありますが、大まかには「入力」「出力」「実行」という3つの場面で考えると分かりやすいでしょう。
「入力ガードレール」は、ユーザーの指示やWebページ、メールなどをAIに渡す前にチェックします。プロンプト・インジェクションや機密情報などを検知し、必要に応じて遮断します。
「出力ガードレール」は、AIが作った回答をユーザーに見せる前にチェックするものです。不適切な表現や機密情報の漏えいなどを検査し、問題があれば回答を止めたり差し替えたりします。
そしてAIエージェント時代に特に重要なのが「実行ガードレール」です。【第18回】で解説したMCPなどを通じてAIがメール送信、ファイル操作、データベース操作などを行なう際、危険な操作を禁止したり、「本当に実行しますか？」と人間の承認を求めたりします。
強力なアクセルには頑丈なガードレールを
現在では、NVIDIAの「NeMo Guardrails」やMetaの「Llama Guard」など、AIに安全機能を追加するための仕組みも公開されています。
高性能なスポーツカーが安心して速度を出せるのは、強力なエンジン、よく効くブレーキだけでなく、コースアウトを防ぐガードレールがあるからです。
AIも同じです。
AIが「チャットの相談相手」から、実際に業務を行なう「AIエージェント」へ進化するほど、頭脳を賢くすることと同じくらい、「何をさせないか」「危険なときにどこで止めるか」を設計することが重要になります。
AIをより自由に働かせるためにも、強固なガードレールが必要になるのです。