ニュース

DeepLのリアルタイム音声翻訳、話者の声質再現でより自然に

テキスト翻訳はMCPに対応、AIエージェントから利用可能に

 DeepLは9月29日、リアルタイム音声翻訳機能「DeepL Voice」についてのメディアブリーフィングを開催し、音声から音声へのリアルタイム翻訳のデモンストレーションなどを披露した。

 あわせて、話者本人の声質を再現する「スピーカーマッチ」機能や、主要なAIエージェントと直接接続可能な標準規格「MCP(Model Context Protocol)」への対応についてもデモンストレーションを実施した。

デスクトップアプリの展開と「音声から音声への翻訳」の進化

 9月のアップデートにおけるDeepL Voiceの主な進化としては、従来のWebブラウザー環境に加え、新たにmacOSおよびWindows向けのデスクトップアプリケーションの提供が開始されている。

DeepL Voiceデスクトップアプリ

 同アプリを利用することで、Microsoft Teams、Zoom、Google Meetといったオンライン会議ツールでの会話を自動検知し、ワンクリックでリアルタイム翻訳を起動できるようになった。

 画面の端や資料の余白に重ねて翻訳結果を表示できるオーバーレイ機能や、話された言語の自動検知、社内用語集やフォーマリティ設定によるカスタマイズ機能も利用できる。

翻訳結果を重ねて表示できるオーバーレイ機能

 今回のアップデートにより、デスクトップアプリを介した「音声から音声への翻訳」がより自然な形に進化している。

DeepL Voiceのスピーカーマッチ機能のデモ

 オンラインミーティングの参加者が自身の言語で話した内容がリアルタイムで相手の言語の音声へと翻訳・再生されるが、その際、話者固有のトーンやピッチを解析し、本人らしい声の質感のまま翻訳音声を再生する「スピーカーマッチ」機能が組み込まれた。

スピーカーマッチ

 これまではプリセットの音声合成から男性・女性の声を選ぶ形になっており、複数人が参加する多言語会議においては、結果的に誰の発言なのかが分かりづらくなるという課題があった。スピーカーマッチでは話者自身の声質が再現されるため、誰の発言であるかを視覚・聴覚の両面から識別できるようになる。また、抑揚やニュアンスを維持する自然音声モデルにより、長時間の会議における聴き疲れも軽減されるとしている。

話し方の特徴を再現することで自然なコミュニケーションを演出する

MCP対応によりAIエージェントからDeepL翻訳を直接呼び出し

 テキスト翻訳やドキュメント翻訳の分野では、AIツールとの連携を深めるため、MCPに対応した。これにより、ユーザーはChatGPT、Claude、Microsoft CopilotなどのMCP対応のAIエージェントから、DeepLの高品質な翻訳エンジンを直接呼び出して利用できるようになった。

MCPに対応

 これまではAIエージェントでの作業とDeepLでの翻訳作業の間でテキストやファイルをコピー&ペーストで手動連携する必要があったが、MCPの導入により、AIエージェントのチャット画面上で「この文書を日本語に翻訳して」と指示するだけで、バックグラウンドでDeepLが呼び出され、レイアウトを保持したドキュメント翻訳や文章の推敲、指定の用語集を適用した結果がチャット内に返ってくる。

 ユーザーが事前に設定すれば、通常の会話処理はAIエージェント自体で行ない、ファイル全体の翻訳タスクはDeepLに依頼するといった柔軟なワークフロー設計も実現できる。既存のDeepL Translatorライセンスを保持していれば、追加料金なしで同機能を利用できる。

DeepLをMCP経由で利用するデモ

次世代の単一音声モデル開発による遅延削減への展望

 デモンストレーション後にはDeepLジャパン ソリューションコンサルタントの玉井宏明氏が記者からの質問に応じ、音声翻訳におけるレイテンシー(遅延)の構造的課題と今後の見通しが語られた。

DeepLジャパン ソリューションコンサルタントの玉井宏明氏

 DeepLでの現状の音声翻訳処理は「音声をテキスト化し、そのテキストを翻訳した上で、再び音声として読み上げる」という3つのステップを経て実行されているため、語順の違いや処理の連鎖によるタイムラグが存在する。

 同社ではこの遅延を根本的に解決するため、音声を入力すると途中のテキスト化を挟まずに直接翻訳音声を生成する「単一の音声モデル」の開発にも取り組んでいるという。こうしたモデルが投入されると、処理にかかるレイテンシーは劇的に改善される見込みで、それ以外にも技術的な課題を克服しつつ、最も人間的で自然なコミュニケーション形態である音声翻訳のさらなる発展を目指しているとのことだ。