「ハルシネーションしないAI」の実現に向けて数学的超知能の研究を開始

　Konoe Intelligenceは一般社団法人Nyx Foundationと、ハルシネーションしないAIの共同研究を開始した。

　同社は、答えが正しいかどうかは、答えの中ではなく論理的な過程（推論）にあり、AIの推論において、推論の一歩一歩を機械的に検証できる仕組みが必要とした。最新のAIが持つ“高い推論能力”と“推論が正しいと保証される”ことは同一ではないため、検証が必要となるが、正しさを証明してきた唯一の手段として挙げたのが“数学”であり、ハルシネーションしないAI、として数学的超知能を開発すると発表した。

　AIの安全性の最終形態として、出力を事後的に検知しフィルタリングする対症療法ではAIの安全は完成しない。構造的に誤りが起こり得ないAIを作ることこそが、AIセーフティの最終形とした。AIの出力を、確率ではなく数学的な証明によって保証する枠組みを構築していく。

　今回の提携により、同社はAIの安全性を「確率の管理」から「数学的な保証」へと引き上げる挑戦とコメントしており、第一歩として、金融、自動車、航空、半導体など、高い品質と信頼性が求められる業界における仕様書やプロトコルの形式化といった形式検証のタスクにおいて、ハルシネーションを構造的に排除した、質の高いモデルを開発していくという。

　ここ6か月での成果指標として、PutnamBench（大学レベルの難問集）で明確な改善を出すほか、AIが問題文を数式に翻訳する段階で意味を取り違えることがあるため、これを機械で検出し、Nyx独自技術で今の半分に減らすことなどを挙げている。