感情やトーンを多言語で再現することが可能なAI吹替モデル「Dubbing v2」

　ElevenLabsは、動画および音声コンテンツの翻訳・吹替を、より自然に行なうことができるAI吹替モデル「Dubbing v2」を発表した。

「Dubbing v2」の特徴は、感情や演技のトーンをそのまま母国語以外の言語で届けるクオリティを実現した。オリジナルの話者が持つ特有のトーン、絶妙な間、話し方、息遣い、細やかな感情表現を別の言語へと翻訳する。これにより「機械的に翻訳された音声」という枠を超え、オリジナルの表現に近い自然で臨場感のある多言語吹替を実現する。

　さらにAI技術により、話者本人の声の質を維持したまま別言語へ変換する機能や、複数の話者が話していても、話者ごとの声の特徴を反映した多言語吹替が可能。また、背景に流れる音楽やその場の環境音を損なうことなく、音声部分のみを自然に翻訳し統合する。

　対応言語は、英語や中国語、スペイン語、フランス語といった言語はもちろん、スワヒリ語やアイスランド語など90以上の言語およびアクセントに対応している。日本語で制作された動画、ポッドキャスト、講演、教育コンテンツ、企業向け動画、VTuberのコンテンツなどを、海外の視聴者に向け展開することができるとしている。