ニュース
OpenAI、10億人以上のChatGPTユーザーのためのオンラインストレージの苦労話を披露
2026年9月21日 12:00
10億人以上いるというChatGPTのユーザーを支えているもののひとつに、高速で信頼性の高いデータアクセスがある。OpenAIは、このシステム「Habitat」の開発運用について興味深いブログを掲載した。
Habitatは、2023年に開催された「DevDay 2023」においてChatGPTをサポートするために初めてリリースされたオンラインストレージプラットフォーム。当初は単一のデータベースに接続されたシンプルなPythonクライアントサイドライブラリだったが、現在では500ペタバイトを超えるデータを扱う複雑な分散システムになっているという。
Habitatといえば、1990年に富士通がサービスを開始した世界初のアバター系オンラインサービス「富士通Habitat」を思い出す記者は年寄りであり隔世の感があるわけだが、同社によれば「この規模のインフラを構築および運用することは容易なことではありませんが、特に難しいことでもありません」としている。
とはいえ、ユーザーの操作に対しChatGPTが応答するまでに多くの個別のデータ検索が必要になる場合があるが、これらのリクエストが遅いと、製品の動作が遅く感じられてしまう。それどころか、リクエストが失敗すると、製品は完全に動作しなくなってしまう。HabitatはChatGPTのサービスを支える重要なシステムなのだ。
ブログによれば、システムエンジニアは通常10倍の規模を想定してシステムを構築し、次の10倍に備える間……数年間はそれが維持されることを期待する。ところがAIが爆速で普及する中で、過去3年間、OpenAIは毎年10倍以上の成長を遂げてきた。つまり、システムエンジニアが想定する何倍ものスピードで規模が拡大してきたわけだ。
このことから、成熟したプラットフォームを構築しながら、同時に前例のないスピードでHabitatを拡張する必要に直面した。
OpenAIはこれを、「構築と運用は一連の戦術的な決定と順序付けの連続」としている。既存のスタックから最大限の性能を引き出すために各コンポーネントを最低レベルで理解し、ストレージとコンピューティング容量の逼迫を回避し、基盤への投資のための時間を稼ぐ必要があったのだという。
一方で、技術的なお仕事に手を染めた人なら、涙を禁じ得ないエピソードなんかもブログには登場する。数十ものサービスにわたるデプロイメントの調整と、各チームとの連携による展開に数日を要し、技術的に展開するために数日かかり、誤りに気づいたバグの修正のためにさらに数日かかる始末。ようやくフラグを有効にする準備が整ったと思ったら、あるチームが以前バグがあったクライアントとは無関係の理由でサービスをロールバックしてしまい、苦労して回避しようとしていたサービス停止が発生……。
AIを取り扱うOpenAIという世界最先端の企業において、どこの会社でも発生しそうな連絡不足による人為的な問題が発生していたとは涙を禁じ得ない。
技術的な側面に関しては、ブログを読んでいただきたいのだが、Habitatがどのように進化してきたか？ ライブラリからサービスへと移行した理由、そしてPythonで書かれたサービスをどのように信頼性の高いストレージプラットフォームレイヤーへと拡張したかが語られているので、ぜひ読んでいただきたい。
