ニュース

生成AIやLLMを組み込んだアプリを対象に、攻撃者の視点からリスクを検証

 EYストラテジー・アンド・コンサルティングは、攻撃者視点で生成AIのセキュリティリスクを評価するサービス「エンドツーエンドAIレッドチーミング」を提供開始した。

 生成AIや大規模言語モデル(LLM)を組み込んだアプリケーションを対象にしており、ユーザー入力から生成AIの出力に至るまで、利用の流れを想定し、従来の診断では見えにくかった生成AI特有のリスクの把握・可視化を支援する。

 実際に想定されるリスクをシナリオ化し検証。プロンプトインジェクション、ジェイルブレイク、RAGの汚染・不正誘導、ツール/APIの不正利用、危険なエージェント挙動や権限逸脱など脅威シナリオに基づいて実践的な検証が行なわれる。システム上の検証だけに止まらず、実際に成立する攻撃経路を検証し、信頼境界の弱点、影響範囲、深刻度の根拠を明確にしていく。

 そして最後には、対応・実行判断など意思決定に資するガバナンス視点のレポートを作成。技術的な検証はもちろんだが、技術者のみならず経営層にも理解できるわかりやすい評価結果を提示し、対応・改善など意思決定を促すレポートが提供される。