ニュース

リコー、ベンチマークツール「JDocQA Reasoning Benchmark」を無償公開

 リコーは5月29日、図表を含む日本語ドキュメント理解におけるAIの推論(リーズニング)性能を評価するベンチマークツール「JDocQA Reasoning Benchmark」を無償公開した。

 これは、経済産業省と国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)が実施する、国内における生成AIの開発力強化を目的としたプロジェクト「GENIAC(Generative AI Accelerator Challenge)」基盤モデル開発第3期での取り組みの一環となる。

 同ベンチマークは、図表を含む日本語業務文書に対して、単なる情報抽出にとどまらず、計算・比較・傾向分析など複数段階の推論能力を評価できる点が特徴。同社は、無償公開することで、生成AIの実用化に向けた技術基盤の高度化に寄与するとしている。

JDocQA Reasoning Benchmarkの特徴

図表理解と多段階推論に特化した独自QAを新規付与

 視覚とテキストの両方の情報を活用する日本語の質問応答データセットであるJDocQAのテスト画像のうち、棒グラフ・折れ線グラフ・財務諸表・路線図など20種類以上の図表を含むサブセットを対象に、同社が独自に一問一答形式のQAアノテーションを新規で付与した、全1,287問で構成している。QAは図表に含まれる内容に関する質問に限定し、以下のタスクを設計することで、図表の読み取り能力と推論能力の多角的な評価ができる。

  • 抽出:図表やフローに示された情報をそのまま取り出す
  • 計算:抽出値をもとに四則演算・比率・統計的集約などの数値処理を行なう
  • 比較:複数の値や要素を対比し関係性を明らかにする
  • 補完:欠落データを既存要素から推定・再構成する

オープンソースでの公開

 同データセットは、評価コードを「Apache License 2.0」、QAアノテーション部分を「CC BY-SA 4.0」で公開。商用・非商用を問わず利用できる。

今後の展望

 同社では「本ベンチマークの無償公開を通じて、生成AIの推論性能向上と実用化を支援し、企業におけるデータ活用の高度化に貢献してまいります。企業理念の使命と目指す姿として掲げる『“はたらく”に歓びを』の実現に向けて、業務革新と付加価値創出に取り組んでまいります」としている。