OpenAIとHugging Face、モデル評価中にセキュリティインシデントが発生し対応

　OpenAIは、先週Hugging Faceが同社のインフラを侵害したAIエージェントを検知し対応後、新しいセキュリティ要項を開示したと発表した。

　今回の経緯は、サイバー能力のベンチマークテストを社内で行なっている間に、OpenAIの複数のモデル……GPT-5.6 Solとさらに高性能なプレリリースモデルなどの組み合わせによって起こされたことが調査の結果明らかとなった。これらのモデルは、いずれも評価目的でサイバー関連の拒否権を抑えていたという。

　まずAIは、OpenAIの研究環境とHugging Faceの本番インフラにまたがる脆弱性を特定し連鎖させ、Hugging Faceの本番データベースからテスト解答を直接取得。AIはアクセスできるようにパッケージレジストリのキャッシュプロキシに存在するゼロデイ脆弱性を特定し悪用。この脆弱性については、すでにベンダーに開示されている。

　このようにアクセスし、研究用テスト環境内で一連の権限昇格とラテラルムーブメントを行ない、インターネットアクセスを持つノードに到達し、この後、解答へのアクセス方法を探し発見。Hugging Faceのセキュリティチームとエージェントは、これらの動きを同社のインフラ上で検知し停止した。

　OpenAIでは、今回の問題を前例のないサイバーインシデントとして対応を取っており、今後も Hugging Faceとともに調査を続け、調査が完了した時点で、脆弱性、インシデント、知見についてさらに詳しく発表するとしている。

　現在、調査の一環として、脆弱性の修正が完了するまで、AI研究を進めるスピードを弱めインフラ構成に厳格な管理を導入。社内ホスト型のサードパーティソフトウェアで特定されたゼロデイ脆弱性については開示し、修正に向け同社と協力して進められている。また、今後のトレーニングと評価における保護策を改善し、より強固な保護策を追加するという。

　今回の一件において、高度なAIモデルはソースコードへのアクセスがなくても、新しい攻撃経路を発見し悪用できることが明らかになった。これは、高度なサイバー能力を、より強力な安全策や防御ツールと並行して開発しなければならないことを意味している。

　同社は、得られた知見は共有していくので、防御を行なうユーザーは「trusted access」に申し込み、これらのAIモデルを試し、より迅速な検知、より優れた予防、より効果的な対応策につなげてほしいとしている。