Anthropic、脅威インテリジェンスレポートを公表

　Anthropicの脅威インテリジェンスチームは、サイバー攻撃者がClaudeを悪用した事例を集めたレポートを発表した。同社はこれらの事例を特定し阻止してきたが、同時にその内容は進化してきており、今回の悪用を阻止し得られた知見をセキュリティ対策の強化に活用するとともに、必要に応じて関係当局や業界パートナーと情報を共有している。

・脅威インテリジェンスレポート
https://www-cdn.anthropic.com/e50be2e51e7695dc4b1366a37a245a597377d3b5/Anthropic-Detecting-and-countering-091026.pdf

　悪用の内容については、サイバー作戦、影響力工作、監視、詐欺および不正行為、生物兵器の悪用、通常兵器の開発、蒸留の7分野。悪用されたAIモデルはClaude Haiku, Sonnet、Opusで、1件の違法蒸留事例を除き、Claude FableやMythosクラスのモデルは使用されていない。

　AI悪用のトレンドとしては、すでに偵察やツール開発からデータ処理に至るまで、攻撃のあらゆる段階においてAIによって実行されており、その内容はこれまでより強化されている。すでに、攻撃する側の人間は高度な知識を必要としておらず、AIがほとんどの作業を担っている。攻撃者は国家機関のチームから個人レベルまで幅広く、その活動範囲は拡大し続けている。今後、より多くの攻撃者がAIフレームワークを採用し、高度なサイバー攻撃を迅速かつ大規模に実行できるようになるという。

　AIの利用は、チャットボットによる単純な質問と応答にとどまらず、偵察、悪用、データ漏洩を実行するマルチエージェントフレームワークの利用にまで及んでおり、攻撃対象の設定やデータ漏洩の確認といった形で人間も関与。この攻撃者は、セキュリティ製品に検出された場合にツールキットを自動的に再構築して展開する、AI支援ワークフローを開発していた。

　攻撃者は、絶えずAnthropicのセキュリティ対策をチェックし、不正利用の検知と防止のための技術的手段を回避しようと試みている。今後もセキュリティ対策を進化させ、パートナー企業と連携し、不正利用の検知、阻止、および将来の防止能力を向上させていくとしている。