OpenAI、フロンティアAIの学習を「生のインターネット」から切り離す

　OpenAIは、AIのフロンティアモデルのトレーニングと評価に使用する環境について明らかにした。今回公開された環境は研究用のものであり、ユーザーが使用するリリース済みのAIモデルの環境とは異なる。

　開発中のモデルは、安全性とアライメントに関するトレーニングが完了していない場合があり、脆弱性を明らかにするために意図的に敵対的な条件下でテストが行なわれる。AIモデルが広く利用されるようになる前に、安全性とアライメントの評価が実施され、本番環境における安全対策をとることになる。

　AIモデルがタスクを実行するためにはソフトウェアの操作を行なうなど、コンピューティング環境が必要となる。これは、コードを記述して実行したり、情報を検索したり、問題を解決するためのさまざまなアプローチを試したりできるデジタルワークスペース。これらの環境により、AIモデルはスキルを実行できるだけでなく、アクセスできる範囲が設定されるとともに操作も制限されるため、モデルが間違いを犯したり、不適切な動作を示したりした場合の影響を抑えることができる。

　しかし、モデルの能力が向上するにつれ、制限を回避する方法を見つけるのが上手くなり、高度なモデルは、ソフトウェアの欠陥や設定ミスを悪用し環境から脱出したり、内部サービスを悪用しライブインターネットにアクセスしたり、他のサンドボックス内のエージェントと不正に通信する方法を見つけたりする可能性がある。7月に発生したHugging Face事件や、その他のモデルの不整合の例は、この発展形が形になって表れたもの。

　このことから、OpenAIは研究環境のセキュリティを大幅に強化。クラウドプロバイダーと連携し、インフラ全体に新たな制御機能を追加し、攻撃者が悪用できる攻撃対象領域を縮小。不正な動作やセキュリティ境界を越えようとする試みを検出する方法が改善された。これらの保護機能は相互に連携しているため、個々の制御機能が失敗した場合でも封じ込めを維持できる、「多層防御」が採用されている。

　とはいえ、ますます高性能化するAIモデルは、最も安全なシステムであっても脆弱性や設定ミスを発見できる可能性があるため、最も強力なモデルに対しても研究環境の耐性を確保するため、インフラの弱点を調査する高負荷のレッドチーム演習が実施された。この演習が継続されるにつれ、エージェントが特定した脆弱性や設定ミスの数は大幅に減少。しかし、最先端のトレーニングと評価の実行が安全に進められるかどうかを評価するため、使用する安全ケースにさらなる高計算能力のレッドチーム演習が組み込まれた。このほど評価が完了し強化された制御が導入されたため、10月1日に最先端モデルの強化学習（RL）トレーニングと内部推論が再開された。

　同社は今後とも、最先端モデルの性能向上に伴い、封じ込め、監視、およびレッドチーム演習のためのインフラを強化することに尽力していくとしている。