NEC、機密情報を保護しながらAIのトークンコスト最適化

　NECは、AI活用時に機密情報の安全性を担保しつつ、最適なAIモデルや外部ツールなどへ自動的に振り分けるルーティングなどにより、トークンコストの最適化を実現する「cotomi Gateway」のソフトウェア版を、11月に提供開始する。その後SaaSとして順次展開予定。

　cotomi Gatewayは、機密性・タスク難易度・回答品質・コストなどいくつかの要素を総合的に評価し、処理内容に応じ適切なAIモデルを自動で選択・ルーティング。既存のシステムやアプリケーションとAPI連携が可能で、業務フローや運用を大きく変えることなく、共通ゲートウェイによる一元管理でAI活用を効率化することができる。

　さらに、プロンプトの冗長部分や不要情報を圧縮することで、トークン消費を抑制。軽量な回帰モデルや統計モデルも活用し、プロンプト内容に加え過去の利用履歴や会話の流れ、キャッシュ状況などさまざまな要素を総合的に判断し、トークンコストの最適化を実現する。

　安全性については、AI活用時に機密情報を自動で検知・マスキングし、秘匿した状態で外部AIモデルを利用可能。マスキングによる処理が難しいタスクについては、オンプレミス環境で稼働するAIモデルを利用し対応する。これらの秘匿化やルーティングを自動化することで、人手による運用負荷を軽減する。

　また、ダッシュボード上で、AIの利用実績やコスト削減効果などのデータを活用しリアルタイムにモニタリングや評価が可能。これにより、利用状況やコスト面の効果を一目で把握することができる。