Anthropic、AIの良心回路ともいえる知識のオフスイッチ「GRAM」

　これまで、先端知識について善悪それぞれに利用される可能性がある中、どうすればAIを安全に利用できるのかが議論されてきた。AnthropicとAE Studioは共同で、これらの対応策を開発してきたが、その1つの答えとして、「GRAM」（Gradient-Routed Auxiliary Modules：勾配ルーティング補助モジュール）を発表した。

　例えば、ウイルスに関する知識は、ワクチンを開発するのに役立つ一方で、悪意のある者が致死的な病原体を設計するために利用する可能性がある。すべては2面性があり、古来、科学の進歩とともに対応策は難しい問題として常に論じられてきた。

　Anthropicは、AIにおいて3つの目標のバランスを取る必要があるとし、1つ目はセンシティブな科学技術の知見に対してアクセスを可能な限り精密に制限する、2つ目は信頼できるユーザーが同じ機能を有益な目的で利用できるようにする、そして3つ目はこれらすべてを、他のタスクにおけるモデルのパフォーマンスに影響を与えることなく実現すること、としている。

　悪用に対するより強力な保護策として同社は、AIモデルが「何を知っているか」を制御することとしている。これまで、化学兵器/生物兵器/放射性兵器/核兵器に関する情報を事前学習データから除外し、これらの知識はAIモデルの重みの取り外し可能な部分に限定された。

　例えば、フィルタリングされる場合、高度な知識を利用可能な研究所に展開するための高度な情報について議論できるAIモデルと、そうでない別のバージョンが必要で、2つの別々のモデルをトレーニングする必要があり、コストは跳ね上がっていくことになる。

　個別にフィルタリングされた多数のモデルをトレーニングするメリットを享受しつつ、トレーニングするモデルを1つだけに絞る新しい手法として開発されたのが、GRAMとなる。GRAMの基本的な考え方は、知識の各カテゴリごとに専用の取り外し可能な区画をモデルに与え、デュアルユースデータから学習する際には、それらの区画のみを更新するという手法となる。

　なお、GRAMはAnthropicのプロダクションモデルにはまだ適用されておらず、今後適用されるかどうかも未定となっている。