AI用語の基礎知識

【第24回】「パラメーター」とは――賢さと計算コストを左右する「調整つまみ」

AIは学習を通じて無数のパラメーターを最適化しており、この数が多ければ高度な判断ができる一方、動作に必要なリソースも増大する(筆者がChatGPTで生成)

 オープンソースのAIモデルを調べたり、新しいAIのニュースを読んだりしていると、「9B」「40B」「数千億パラメーター」といった語句を見かけることがあります。

 なんとなく「数字が大きいほど賢いAIなのかな」と思いますが、そもそも、このパラメーターとは何なのでしょうか。

AIモデルの「調整可能な数値(重みやバイアス)」

 パラメーターを一言で表すと、AIモデルの内部にある「学習によって調整される数値」です。主に「調整可能な数値(重みやバイアス)」などの形で存在しています。

 AIは、作られた瞬間から賢いわけではありません。学習を始める前は、正しい答えを出すための調整がされていない状態です。そこに膨大なテキストを与え、たとえば「次に来る言葉」を予測させます。

 予測と正解との差が小さくなるように、内部の数値を少しずつ調整する。この作業を膨大な回数繰り返してできあがった数値の集まりが、パラメーターです。

 AIは百科事典の文章をそのまま保存しているわけではありません。学習によって得た言葉の使われ方や知識のパターンが、こうした大量の数値に反映されています。

 ちなみに【第4回】で紹介したLLM(大規模言語モデル)の「規模」を表わす代表的な尺度のひとつも、このパラメーター数です。

例えるなら「何十億個もの調整つまみ」

 パラメーターは、音響機器「ミキサー」の「調整つまみ」にたとえると分かりやすいでしょう。

 ミキサーでは、たくさんのつまみを調整して音量や音質のバランスを整えます。AIでも、入力された言葉は膨大なパラメーターを使った計算を通り、最終的な出力へ変換されます。

 モデル名にある「9B」(Billion=10億)なら約90億個、「40B」なら約400億個のパラメーターを持つ、という意味です。90億個のつまみ、と考えると、とんでもない数ですね。

 数十億、数百億ものつまみを、人間がひとつずつ調整しているわけではありません。学習用データを使った計算によって、自動的に少しずつ調整されていくのです。学習が終わった後は、通常はこの値を使って推論を行ないます。

「多ければ多いほど賢い」とは限らない

 では、パラメーター数は多ければ多いほど良いのでしょうか。

 一般に、パラメーターが多いモデルは複雑なパターンを表現できる余地が大きくなります。しかし、AIの性能はパラメーター数だけで決まるわけではありません。学習データの質や量、モデルの設計、学習方法などにも大きく左右されます。

 さらに、モデルが大きくなるほど、動かすために必要なメモリ容量や計算量も増えやすくなります。高性能なGPUや大容量メモリが必要になったり、推論速度や消費電力、利用料金に影響したりします。

 そこで注目されているのが、【第14回】で取り上げた「SLM(小規模言語モデル)」です。用途を絞ったり学習方法を工夫したりすることで、比較的小さなモデルでも高い性能を発揮できるケースが増えています。

 また最近は「MoE(Mixture of Experts)」のように、巨大なモデル全体のうち一部だけを使って処理する方式もあります。そのため、総パラメーター数だけを見て、AIの速度や計算コストを単純比較することもできません。

数字の大きさより「用途に合うか」

 パラメーター数は、AIモデルの規模を知るうえで便利な目安です。同時に、それを動かすためにどれくらいの計算資源が必要になりそうかを考える手がかりにもなります。

 PCやスマートフォンで軽快に動かしたいのか、クラウドの大規模な計算機を使って複雑な仕事をさせたいのか。大切なのは「数字が大きいモデル」を選ぶことではなく、自分の用途に合った規模のモデルを選ぶことです。

 ニュースで「○Bモデル」という語句を見かけたら、その数字はAIの“頭の大きさ”そのものではなく、内部にどれだけ多くの調整値を持っているかを示す目安――と考えると分かりやすいでしょう。