パナHDなど、AIが予測してスマホ業務を支援する新技術発表

　パナソニック ホールディングスとパナソニックR&Dカンパニーオブアメリカは、カリフォルニア大学ロサンゼルス校の研究者らと共同で、スマートフォンなどのモバイル端末上の業務をAIが先を予測しながらサポートする世界モデルを開発した。

　あわせて、世界モデルを学習するための約140万件の学習データセット「MobileWorld」と、その性能を評価するベンチマーク「MobileWorldBench」を構築し、AIエージェントのモバイル端末操作の成功率を向上させることに成功した。この研究は、10月24日～29日までハンガリー・ブダペストで開催される自然言語処理分野のトップカンファレンス「EMNLP 2026」で発表する。

技術の特徴

　同技術は、操作後の画面を画像で再現するのではなく、「ボタンを押すと設定画面が開く」「入力欄が表示される」といった操作に関する変化を自然言語で予測する。その結果AIエージェントは、時刻、通知、画面レイアウトなど操作に関係のない情報に左右されずに、複数の操作候補について予測した状態変化を評価し、目標達成につながる操作を選択する。

　MobileWorldは、Android端末での人間の操作軌跡をもとに構築した約140万件のデータセット。このデータセットには、画面変化の説明約94.2万件や、次状態に関する質問・回答データ約54.3万件が含まれる。

　このデータで追加学習した「Qwen3-VL-8B-Instruct」を独自ベンチマーク「MobileWorldBench」で、予測文を正確さ・完全さ・関連性の観点で採点した結果、比較した既存手法の中で最も高いスコアを記録した。

　さらに、同モデルをAIエージェントに組み込み、評価ベンチマーク「AndroidWorld」で評価した。操作候補ごとの状態を予測しながら実行させたところ、世界モデルを組み込まないベースライン手法でのタスク成功率46.9%に対し、組み込んだ場合は54.3%へと向上した。