【第15回】「トークン」とは――AIの料金や“読める長さ”を左右する“ことばの単位”

トークンの簡単な概念 （筆者がChatGPT Image 2で生成）

　AIのサービス説明や料金表、ニュースなどを見ていると「トークン」という言葉が頻繁に出てきます。たとえば、最近のニュース記事。

　さらっと「100万（1M）トークン」いくら、最大「128Kトークン」まで、というような表現が出てきますね。いったい、このトークンとは何でしょう？

AIは文章を「トークン」に分けて読む

　トークンとは、AIが文章を処理するために分ける単位です。

　【第4回】「LLM（大規模言語モデル）」でも少し触れましたが、生成AI（LLM）は、文章をそのまま“意味”として読んでいるのではなく、まずトークンに分け、それぞれを数値に変換し、その関係をもとに、次に来そうなトークンを予測し、それを繰り返すことで文章を生成しています。

　ただ、トークンは文字数でも単語数でもありません。人間にとっての「文字」や「単語」と完全に同じではなく、たとえば、

「私は車を使います」

という文章であれば、人間には8文字の日本語文に見えますが、AIの内部では、

「私」「は」「車」「を」「使い」「ます」

のような単位に分けられたりします（実際の分け方はAIモデル・トークナイザーによって異なります）。

　また、日本語の「こんにちは」が1トークンになることもあれば、複数トークンに分かれることもあったりしますし、英語でも、よくある単語が1トークン、珍しい語や長い語は複数トークンに分かれることなどもあります。つまり、トークン数は、見た目の文字数と完全には一致しません。

トークン数は料金や「読める長さ」に関係する

　長い資料を読ませたり、長い回答を出させたり、長いチャットの続きを扱わせたりすると、それだけ多くのトークンをAIは処理することになります。

　長い文章を入力すれば入力トークンが増え、長い回答を出させれば出力トークンが増えます。人間にとっては「少し長めの文章」に見えても、AIにとっては大量のトークンを処理する仕事になることがあります。

　このため、トークン数はAIの料金や、一度に読める文章量に関係します。冒頭で紹介した「100万トークンあたりの価格」や「コンテキストウィンドウ 1Mトークン」、「最大出力 128kトークン」といった表記は、AIがどれだけの量を処理できるか、またその処理にどれだけ費用がかかるかを示しているわけです。

　100万トークンというと、日本語でもかなり長い文章量で、文庫本数冊分に相当することがあります。ただし、トークンは文字数そのものではないため、文章の種類やモデルによって大きく変わります。

トークンを知るとAIの制約が見えてくる

　トークンは、AIの内部だけで使われる難しい専門用語に見えます。しかし実際には、AIが一度に読める量、回答できる長さ、処理にかかるコストを左右する、かなり実用的な単位でもあります。

　トークンを知っておくと、「このAIはどのくらい長い文章を読めるのか」、「長い資料を読ませるとなぜ料金が増えるのか」、「なぜ長い会話の途中で、前に話したことを忘れたように見えるのか」といった、AIの制約も見えやすくなります。

　AIをうまく使うには、質問の内容だけでなく、AIにどれだけの量を読ませ、どれだけの長さで答えさせるかも大事です。その目安になる単位が、この「トークン」なのです。

筆者の脳の中では、「トークン」＝「融けていくお金」というイメージが……ううむ（筆者がChatGPT Image 2で生成）