東芝、少量のデータで設備音や現場発話を高精度に認識する2つのAI技術を開発

　東芝は10月22日、現場ごとに異なる設備音や警報音、作業者の発話を高精度に認識する2つのAI技術を開発したと発表した。

　製造業や社会インフラの現場では、設備監視や保守を担う人材の不足や、熟練者が持つ知識・ノウハウの継承が深刻な課題となっており、AIを活用した現場支援への期待が高まっている。設備音や作業音、作業者の発話には、設備の異常兆候や作業状況、現場固有の知識が豊富に含まれているため、これらを正確に把握することが重要視される。

　しかし、従来は現場や用途が変わるたびに大量の音データを収集してAIモデルを追加学習させる必要があり、発生頻度の低い異常音のデータ収集の困難さや、設備の稼働音といった背景雑音による認識精度の低下が大きな障壁となっていた。さらに、一般的な音声認識では現場特有の新製品名や専門用語を正しく書き起こせず、新しい言葉が増えるたびに辞書を更新する運用負荷が生じていた。

　こうした課題を解決すべく開発された1つ目の技術が「Few-shot音響イベント検出技術」となる。あらかじめさまざまな音の特徴を学習したAIモデルを活用し、検出したい音の見本を数個登録するだけで、長時間の現場収録データから同種の音が発生した区間を特定して開始・終了時刻を出力する。

　現場ごとの大量データ収集や追加学習を必要とせず、異常音や警報音など検出対象の音を柔軟に切り替えられる点が大きな特徴とされる。また、音の見本と収録データから背景雑音の特徴を推定し、対象音の特徴から雑音の影響を抑制した上で照合を行なう方式を採用したことで、機械の稼働音などが混在する騒音環境下でも見逃しや誤検出を低減している。

Few-shot音響イベント検出技術

　音響イベント検出分野の国際コンペティション「DCASE 2024 Task 5」の検証データによる評価では、追加学習を行わずにF値62.35％を達成し、追加学習を施した公開手法に匹敵する性能を示したほか、リアルタイム処理での検出も確認されている。

　2つ目の技術は、現場固有の専門用語を含む発話を正確にテキスト化する「誤り訂正記録活用型音声認識技術」。AIによる誤った書き起こしとユーザーが修正した正しい表現の組み合わせを訂正記録として蓄積し、大規模言語モデル（LLM）に入力して同様の誤りを補正する。

誤り訂正記録活用型音声認識技術

　運用に伴って訂正記録が増大すると、全記録を毎回LLMへ入力することで処理負荷が増大し、無関係な記録が補正精度を低下させる恐れがあるが、同技術ではまず音声から発話された可能性のあるキーワードを検出し、関連する訂正記録のみを抽出してLLMへ入力する独自のアプローチを確立。評価実験では、直近の記録を用いる従来方式と比較してLLMへの入力文字数を英語で70.9％、日本語で71.7％削減しながら、キーワード認識のF値を英語で83.6％から85.6％、日本語で64.8％から67.3％へと向上させられたという。

　同社では今後、両技術を製造やエネルギー、社会インフラをはじめ、物流、建設、コンタクトセンターなど幅広い分野の現場業務へ展開していく予定。設備の異常検知や運転監視、専門用語を含む作業記録や保守報告書の作成支援などに適用し、現場DXの推進と熟練者のノウハウ継承を加速させる。将来的には現場の状況や暗黙知をAIが深く理解するための基盤技術として発展させ、視覚情報を取り込み始めたフィジカルAIに対し、聴覚情報も取り込めるようにしていくことで、社会実装を後押ししていくとしている。