AI用語の基礎知識
【第31回】「AIベンチマーク」とは――AIの実力を測る“共通テスト”。その仕組みと、高スコアの裏にある落とし穴
2026年11月16日 11:58
新しいAIモデルが発表されるたびに、「世界最高スコアを達成」「前モデルを大幅に上回る」といった数字が並びます。しかし、AIの「実力」はどうやって測るのでしょうか。また、テストで高得点なら、実際の仕事でも優秀なのでしょうか。
AIの能力を共通の基準で比べるための仕組みが、今回の紹介する「AIベンチマーク」です。今回は主に生成AIの評価の仕方を見ていきます。
何を測るのか? 代表的な4つの評価方法
「ベンチマーク」は、もともと測量の基準点を意味する言葉です。IT分野の用語としては性能比較のための基準や測定方法を指します。
「AIベンチマーク」では、同じ問題や評価方法を用いてAIモデルの能力を比較します。
代表的な評価の方向を4つに整理してみます。
第1は、知識や推論を試す「試験問題型」。57科目の四択問題に答える「MMLU」が代表例です。日本語の能力を測る「llm-jp-eval」などもあります。
MMLUは小学校の算数から歴史、法律まで幅広い分野を扱い、専門知識の広さを確かめます。ただし、テストの点数だけでは、文章の自然さや会話の上手さは分かりません。
第2は、さらに難しい「専門家級」。生物・物理・化学の専門問題を解く「GPQA」や、世界の研究者が難問を集めた「Humanity's Last Exam(HLE人類最後の試験)」があります。
GPQAでは、その分野の専門家ではない知識豊富な人がWeb検索を自由に使い、1問に平均30分以上かけても正答率は34%でした。HLEは約2500問で、さらに幅広い専門分野を扱います。
第3は「実務タスク型」。たとえば「SWE-bench」は、実在するソフトウェアの不具合をAIに修正させ、テストで成果を判定します。
第4は「人間の好み型」。「Arena」では名前を伏せた2つのAIに同じ質問を出し、利用者が良いと思う回答に投票します。試験の正答率とは違い、使い心地に近い評価です。
(※この分類は説明のために整理したものです)
高得点になりすぎる「賞味期限」
AIの進歩は速いため、難しかった問題も次第に簡単になり、モデル間の差がつかなくなる「飽和」が起きます。
MMLUでは、登場当初のGPT-3が43.9%だったのに対し、2023年のGPT-4は86.4%。その後は90%を超えるモデルも現われました。問題自体にも誤りがあり、約6.5%に不備があるという研究も発表されました。
そこで、選択肢を10個に増やし推論を重視した「MMLU-Pro」や、専門家でも難しい「GPQA」「HLE」といった新しい試験が登場しました。物差しも、AIの進歩に合わせて作り直されるのです。
問題を覚えてしまう「データ汚染」
もう一つの問題は「データ汚染(コンタミネーション)」。公開された試験問題や解答がAIの学習データに混ざると、未知の問題を解く力を正確に測れなくなります。試験前に問題集ではなく、本番の問題と答えを見ていたようなもの、ですからね。
OpenAIは2月、プログラミング能力を測る「SWE-bench Verified」のスコア報告を中止しました。
SWE-bench Verifiedは、人間の専門家が選んだ500問で構成され、長くモデルのプログラミング能力を比較する定番の指標でした。
AIがうまく解けなかった問題138件を調べると、59.4%に採点テストや問題文の重大な不備があり、正しい修正でも不合格になり得ました。さらに、最先端モデルが一部の問題で人間の作った修正コードなどを再現し、学習時に問題を見ていた可能性も示されました。
これでは、点数が上がってもAIの実力が伸びたのか判断しにくいわけです。
「カタログ燃費」と同じ。条件を見よう
AIベンチマークは、自動車の「カタログ燃費」に似ています。同じ基準なら比較の目安になりますが、道路や走り方で実際の燃費は変わります。
AIも、【第3回】の「プロンプト」の書き方、【第5回】の「推論モデル」でどれだけ計算させるか、外部ツールや実行環境(ハーネス)によって点数が変わります。問題数が少なければ、数ポイントの差だけで優劣を決めるのも危険です。
「ベンチマーク1位だから自分の仕事でも一番」とは限りません。大切なのは、どんな能力を、どんな条件で測った数字なのか。順位表を絶対視せず、AIの得意・不得意を知る「物差しの一つ」として使いたいものですね。












![[みのるん式]ビジネスパーソンのためのClaude Code仕事術 製品画像:8位](https://m.media-amazon.com/images/I/51clwCUvB0L._SL160_.jpg)




![Claude Code実践入門 [生成AI深掘りガイド] 製品画像:6位](https://m.media-amazon.com/images/I/41onRRY91KL._SL160_.jpg)






















![CORSAIR DDR4-3200MHz デスクトップPC用 メモリモジュール VENGEANCE RGB PRO シリーズ ホワイト 32GB [16GB×2枚] CMW32GX4M2C3200C16W 製品画像:9位](https://m.media-amazon.com/images/I/41WeYhx-YZL._SL160_.jpg)
