何気ない会話を心地よく楽める評価基準とは？

　シャープは、AIによる応答内容自動評価システムにより、ユーザーに寄り添った応答で心地よい会話を実現するAI会話技術を開発したと発表した。

　同社の家電製品などにはAI会話機能を搭載した製品があるが、サービス利用時の会話傾向を分析したところ、AIと行なわれる会話は、製品やサービスの機能だけに限定されず、幅広いやりとりが行なわれていたことが判明したという。このため、ユーザーが何気ない会話を心地よく楽しめることが製品やサービスへの愛着につながるということで、同社のAI技術であるCE-LLMの一部としてAI会話技術の開発が開始された。

　これまでのAI会話応答の評価は、主観評価で行なわれていたため、評価に時間がかかったり、評価者により結果がばらつくといった課題があった。また、評価基準が無いことから、定量的な検証・評価が困難だった。

　同社は、会話に関する先行研究の中で、「即応性」、「文脈理解」、「知識力」など、会話の「好ましさ」に影響する項目の抽出と体系化をおこない、応答内容を定量的に測定できる評価基準を構築。AIやLLMが生成した応答内容を、他のLLMを用いて評価する「LLM-as-a-judge」を開発した。

　この研究結果は、5月に発表されたテレビ「AQUOS」向け新サービス「AQUOS AI」に応用され、応答内容の評価値の向上が確認された。同社は今後も、自動評価の領域を広げるシステムを開発し、ユーザーが会話を楽しむことで、愛着を持ってもらえるAI会話機能搭載製品・サービスの拡大を目指すとしている。