映像を自由に生成・編集可能な「Gemini Omni」を発表

　Googleは、動画をはじめ、画像、音声、動画、テキストを自由に組み合わせ、新たな動画を生成することができる新しいモデル「Gemini Omni」を発表した。

「Gemini Omni」の第1弾として「Gemini Omni Flash」が、Google AI Plus、Pro、Ultraユーザーに、GeminiアプリおよびGoogle Flowを通じ提供開始となる。今週からは、YouTube ShortsおよびYouTube Createアプリユーザーにも、無料で順次提供開始となる。

「Gemini Omni」は、自然言語だけで直感的に動画を編集することが可能。プロンプトが前の文脈を引き継ぐため、登場キャラクターの見た目や特徴、物理法則などが一貫して保たれ、シーン全体の流れも記憶した上で動画編集を可能とする。

　動画を元に編集するだけでなく、全く新しいものに作り変えることも可能。撮影が難しい映像も、撮影した動画から全く新しく作成することが可能となっている。また、元のシーンの文脈を失うことなく、背景環境、カメラアングル、スタイル、さらに細かなディテールまで調整が可能。

プロンプトに「泡のアート作品を作って」と打ち込むことで制作されたもの

バイオリニストのバックを変更して見せた映像

「Gemini Omni」は、重力、運動エネルギー、流体力学といった物理に対する理解が向上していることから、水や物の動きがより自然でリアリティ溢れるシーンを創り出すことが可能としている。また、短いプロンプトだけで、「Gemini Omni」が説得力のある解説動画を作成することも可能。複雑な事象やアイディアをわかりやすいビジュアルとして生成してくれる。

　今後は、画像や音声といった出力形式にも対応予定。