ニュース

エーアイ・アンド、NECに国内完結型AI推論基盤「ai& inference」を提供

 エーアイ・アンド(ai&)は、日本電気(NEC)に国内完結型AI推論基盤「ai& inference」を提供する。

 AIの導入において、どのデータをどこで処理するかという管理の問題と、利用量に応じて増えるトークンコストの管理が、実運用における検討事項となっている。ai& inferenceは、この課題に応えるため、国内のインフラ上で推論処理を行ない用途に応じ複数のAIモデルを使い分けられる推論基盤となっている。

 ai& inferenceでは、業務データやナレッジを扱う生成AIの活用における国内での処理が求められる要件に対応。また、業務ごとに求められる回答品質、応答速度、コストに応じ、オープンウェイトモデルを含む複数のモデルを使い分けることが可能となっている。

 今後の展開としては、NECでの利用を通して得られた知見を踏まえ、ai& inferenceの改善を続けていくとしている。