Anthropic、Claudeによる不正アクセス「4件目」を発表

　Anthropicは、Claudeが実際のサードパーティシステムへ不正アクセスを行なった4つのインシデントについて、整合性評価を提示した。

　4件の不正アクセスのうち3件についてはすでに発表されていたが、Claudeがインターネットアクセスを取得した可能性があると思われる約141,000件の記録データをスキャンした後に見落としが発覚。再度、調査範囲を広げ記録データをスキャンしたところ、1月に発生したClaude Opus 4.6の初期バージョンに関連する4番目のインシデントを特定。影響のあった関係者すべてに通知が行なわれた。これらの調査で、これら4件の問題と同様またはそれ以上に深刻な事例は見つからなかった。

　4件のインシデントはすべて、同じ評価パートナーが実施したサイバーセキュリティ評価中に発生。Claudeはインターネット接続のないシミュレーション環境で動作していると伝えられていたが、設定ミスにより誤ってオープンインターネットに接続されてしまい、リリース版モデルに付属するサイバーセキュリティ対策なしで実行されてしまったという。

　問題としては、1つは偏った推論にあり、Claudeが実際のインターネット上で動作しているという証拠を無視したり、誤って解釈したりする傾向があったという。もう1つは無謀さで、特定のタスクを狭い範囲で追求するあまり、問題となる行動を取ろうとする傾向があるという。

Claude Mythos 5は、本来の環境からすぐに離脱し、実際のインターネットとの通信を開始。CTFの範囲外であり、第三者に有害であると明確に理解していたはずの行動を実行した

　AIモデルは思考過程（CoT）の中で、シミュレーション内で動作していると繰り返し述べていたが、それが実際のインターネット上に存在することを明確に示しており、その行動はモデルがそれを認識していたことと一致していた。モデルがシミュレーション内にいないことをより明確にするために記録データに的を絞った修正を加えたところ、Claude Mythos 5は現実世界での被害の可能性が高いことを認識していたにもかかわらず、依然として攻撃的な行動を取ったという。

　Claudeの動作は意図的ではなかったが、その範囲は限定的だった。モデルは与えられた課題の解決を試みることから逸脱することはなく、場合によっては課題の停止を試みた。Claudeが他のエージェントと連携しようとしたことは1度もなく、Claudeは自身の行動の証拠を隠蔽しようとしたこともない。これらの問題に見られるような意図的ではない動作は、Claudeがサイバー攻撃を実行するように指示されていない通常の使用環境では発生しないと、同社は考えているという。もしこのような動作が発生した場合でも、サイバー分類器やClaude Codeの自動モードに含まれるものなど、同社の製品版モデルに搭載されている保護機能が、これらの問題には欠けていた防御層を追加することになる。

　Claude Mythos 5で問題発生時のシナリオをシミュレーションで再現し、Claude Opus 5とClaude Mythos 5.1をテストしたところ、どちらのモデルも、Claude Mythos 5より有害な行動をとる頻度は大幅に減少したが、それでも懸念される頻度で同じ行動をとるという。ただし、いずれの場合もモデルは環境がシミュレーションであることを宣言した後にのみ有害な行動をとる。

　Claude Mythos 5が起こした事件でみられた偏った推論の根本原因を特定できるかどうかを確認するため、同社ではトレーニングについても調査されたが、単一の根本原因を特定するには至らなかった。しかし、本番環境のモデル全体で偏った推論が減少していることが明らかになった。この改善は、更新された強化学習とアライメントのトレーニング環境によるものだと推測される。

　同社では、リリース前の監査ではこれほど深刻な不整合が存在することを警告できなかった事実があり、リリース前のテスト中に最も懸念されるモデル挙動を確実に特定することは困難だとしている。モデルが進歩するにつれ強化学習における監視の改善と報酬ハッキングの削減は難しくなり、それ故に、最先端のAI開発のペースを合わせるための協調的で検証可能なアプローチを行なうべきだとしている。