AI用語の基礎知識
【第26回】「ローカル推論」とは――クラウドに頼らず手元の機器でAIを動かす技術
2026年10月13日 13:04
ChatGPTやGeminiなどの生成AIを使うとき、私たちは通常、インターネットの向こう側にあるデータセンターと通信しています。質問を送ると、データセンター内のAIが回答を生成し、その結果を手元に返してくるわけですね。
しかし、社外秘の情報や個人情報を扱う業務では、データを外部に送信したくない場合もあります。そこで注目されているのが、今回取り上げる「ローカル推論」です。
ネット回線がなくても手元でAIが動く
「推論」とは、学習を終えたAIモデルに新しいデータを与え、回答や予測などの結果を導き出す計算処理のことです。
クラウド型AIサービスでは、この計算をサービス提供元のサーバーで行ないます。一方、ローカル推論は、手元のパソコンやスマートフォンなどにAIモデルを配置し、その機器のCPUやGPU、NPUなどを使って処理する仕組みです。
例えば、パソコン上で動く「ローカルLLM」なら、インターネットに接続せずに文章を生成したり、質問に答えたりできます。
ただし、ローカル推論の対象はLLMだけではありません。スマートフォンで撮影した写真から被写体を識別したり、音声を文字に変換したりするAIも、端末内で計算していればローカル推論の一種です。
身近なスマートフォンにもあるローカル推論
ローカル推論は、実は私たちの身近なところでも使われています。その一例が、スマートフォンのカメラにある「画像認識」機能です。
スマホのカメラに犬や猫を映すと、AIが画像を解析して、そこに何が写っているのかを判別できます。
このとき、クラウド推論であれば、撮影した画像をインターネット経由でサーバーに送り、そこでAIに画像を解析させ、結果をスマートフォンに返します。
一方、ローカル推論では、スマートフォンに搭載されたCPUやGPU・NPUなどを使って、画像の解析から判別までを端末内で行ないます。画像を外部に送信する必要がなく、インターネットに接続していなくても処理できるわけです。
こうした画像認識は、文章を生成するLLMとは異なる種類のAIですが、学習済みのモデルを使って結果を導き出すという点では、同じ「推論」です。
もちろん、ローカル推論には端末の処理能力による制約があります。複雑な画像の生成や、大規模なAIモデルを使った処理では、高性能なサーバーを利用できるクラウド推論の方が適している場合もあります。
つまり、AIの推論は必ずしも遠くのデータセンターで行なう必要はありません。用途や必要な処理能力に応じて、手元の機器でも実行できるのです。
セキュリティ、コスト、即時性という強み
ローカル推論には、大きく3つの利点があります。
第1は、情報を外部に送信せずに処理できることです。顧客の個人情報や未公開のソースコードなどを、クラウドに送らずにAIで処理できます（端末自体のセキュリティ対策は必要）。
第2は、利用量に応じたAPI料金が発生しないことです。自分でモデルを動かす場合、クラウドAIのような従量課金を避けられます（機器の購入費・ランニングコストは別途必要）。
第3は、通信による遅延を避けられることです。音声認識や画像認識、ロボットの制御など、素早い反応が求められる用途では大きな利点となります。
もちろん、弱点もあります。手元の機器の性能によって、動かせるAIモデルの規模や処理速度が制限されることです。
しかし最近では、【第11回】で紹介した「オープンウェイトモデル」の普及や、小型で高性能なAIモデルの登場、NPUを搭載したPCの普及などによって、一般的なパソコンでもローカル推論を利用しやすくなっています。
2026年10月現在、筆者もメモリ32GB、Intel Core Ultra 7搭載のノートPCでローカルLLMを動かしています。大規模なクラウドAIと同等の性能とはいきませんが、たとえば軽微な原稿文書のチェック・修正などに、用途を絞れば手元のPCでも十分に活用できてます。
クラウドとローカルを適材適所で使い分ける
ローカル推論は、クラウドAIを否定するものではありません。
大規模なモデルを使って複雑な作業をさせたい場合は、クラウドAIが有力です。一方、外部に送信できない情報を扱う場合や、通信環境に左右されずに処理したい場合には、ローカル推論が適しています。
また、必要に応じて両者を組み合わせる方法もあります。簡単な処理はローカルで行ない、高度な処理だけをクラウドに任せるといった使い分けです。
AIを活用するうえでは、「AIに何をさせるか」だけでなく、「どこで計算させるか」も重要になります。ローカル推論は、その選択肢を広げる技術なのです。