エージェント型AI向けに世界トップクラスの処理速度を実現するNVIDIA Groq 3 LPX量産開始

　NVIDIAは、AI推論性能を大幅に向上させるインタラクティブAI推論アクセラレーター「NVIDIA Groq 3 LPX」の量産を開始したと発表した。

　エージェント型のシステムは、数百から数千もの推論ステップにわたり膨大な量のトークンを生成するため、リアルタイムで推論を行ない、行動し、複雑なタスクを完了するためには、トークンの生成を高速化することが重要となる。NVIDIA Groq 3 LPXは、トークン生成速度を向上させることでVera Rubin NVL72の推論性能を拡張。

　オープンソースのエージェント型モデル、Gemma 4 31Bを実行したArtificial Analysisのベンチマークにおいて、10万トークンのコンテキスト条件下で、1秒あたり3,400トークンを記録した。これは、同モデルにおいてこれまでに記録された中では最速のパフォーマンスとなる。

　Groq 3 LPXを活用することで、コーディングなどのエージェント型タスクを、数時間でなく数分単位で実行可能となり、エージェントやレイテンシに敏感なワークロードにおいて、代替プラットフォームと比較し4倍の応答速度を実現する。