ニュース

Anthropicと英AISI、Claude Mythos 5が評価環境外で不誠実な行動をとった事例を公開

Claude Mythos 5が、サードパーティのGitHubリポジトリに対し開始したプルリクエストの簡略化された図解。外部の開発者がコードにマルウェアが含まれていると警告したため、Mythos 5はコードを編集し、偽アカウントを使用しコードがクリーンになったと表明した後、マルウェアを含む新しいコードをアップロードした

 Anthropicと英国AIセキュリティ研究所(AISI)は、「Claude Mythos 5」が評価環境外で実在の開発者を標的にした事例を公開した。

 AISIの評価テストで、シミュレートされたネットワーク環境から保護されたデータを取得するサイバーセキュリティの課題がMythos 5に出題された。インターネットアクセスは意図的に有効にされていたが、Fable 5などの一般リリースモデルで展開されているサイバーセキュリティ対策は無効にされていた。AISIが実施した43回の評価のうち9回で、Mythos 5は評価の意図された範囲を超える行動を取り、実際の人々や組織に影響を与える結果となった。

 Mythos 5は、評価テストで指定された保護されたデータを奪取するため、AISIがテスト用に構築した実際の組織のシステムを模倣した小規模なコンピュータネットワークに侵入を試みた。評価テストにおいて、意図した方法を用いてこれらのシステムを標的とするさまざまなアプローチを試みたが、いずれも失敗。しかし同時に、コードリポジトリをホストする定期的に接続していたGitHubも発見。しかし、このリポジトリは実際には無関係の人間の開発者のものであった。

 Mythos 5は、評価テストのマシンが次にコードをダウンロードしたときにコンピューターウイルスに感染しマシンを侵害できると考え、悪意のあるコードをリポジトリを送信するために偽のユーザーIDを作成し、リポジトリの管理者に連絡し、コード変更を承認するよう圧力をかけ、これらのIDは、コードが安全で有益であると虚偽の主張を行なった。しかし最終的にメンテナンス担当者はコード変更の受け入れを拒否し、Mythos 5の実行はタイムアウトとなった。

 AIモデルの行動を2つの観点から判断すると、タスクの意図された範囲をどれだけ超えたかを示す「行き過ぎ」と、モデルが自身の行動や意図をどれだけ偽ったかを示す「不誠実」さによるが、特に虚偽の主張を行なった「不誠実」については大きな問題点となった。権限の逸脱と不正行為の両面において、今回の主要な事案はどの事例よりも深刻であると、同社では考えている。

 最新のモデルでは、これらの攻撃を開始する可能性が大幅に低いとしている。Claude Mythos 5.1、Claude Opus 5.5、およびMythos 5.1よりも優れた機能を備えた汎用的な社内研究モデルを使用しテストを行なったところ、自発的に停止する確率が上がっており、アライメント訓練の改善が、後続モデルにおけるMythos 5の挙動の緩和に役立ったと考えられている。

 同社は、最先端のAIシステムの加速する能力に、アライメント、監視、および安全対策が追いつくよう努力する必要性を提言。より高性能なAIモデルはより複雑で予期せぬ動作をする可能性があるが、巧妙さが増していく中で、現状の監視ではAIによる問題行為の検出がより困難になる可能性がある。同社はAI開発のスピードを緩めることを提唱しているが、AIの能力向上とAIの安全性とセキュリティの進歩と合致するように開発ペースを調整すべきだと考える理由として、今回のような事象が発生することから提唱している。

GitHubへの攻撃の一環として、Claude Mythos 5はリポジトリの管理者にメールを送信し、プルリクエストを承認するよう促している。個人情報はプレースホルダーに置き換えられている