ニュース
NTT、4Kリアルタイム解析×VLMでインフラ監視を広域化・省設備化
2026年10月28日 20:10
NTTは、道路監視や空港監視といった幅広いインフラ監視への活用に向け、自社開発の「超高精細映像AI推論LSI」により、4K映像を高精細な状態でリアルタイムに解析し、遠方に小さく映る対象の検知可能距離を従来比3倍以上に拡大するとともに、検知した対象の状況判断まで支援する映像監視技術を実証した。同研究成果は、11月18日～25日に開催される「NTT R&D FORUM 2026」に展示される予定となっている。
同技術では、4K映像から遠方の小さな対象も高精細に捉え、「高精細な切り出し画像」と位置・速度・移動方向などの「動きの情報」を視覚言語モデル（VLM）へ入力できる。さらに、必要な事象を検知した場合にのみVLMによる解析を実行することで、状況判断に必要な情報を保ちながら、VLMへの入力回数や通信量の削減を図る。1分間の4K事故映像を用いた評価では、4K映像全体をVLMへ入力する構成では判断できなかった事故も同システムで判断が可能となり、VLMへの入力回数を約98.1%削減することに成功した。
なお2026年度内に、NTTイノベーティブデバイスより、「超高精細映像AI推論LSI」を搭載した製品（Engineering Sample）の提供を開始する予定。
技術のポイント
遠方まで監視範囲を広げる4K高精細・リアルタイム解析
「超高精細映像AI推論LSI」は、4K映像を縮小せず、1秒間に30フレームでリアルタイムに物体を検出し、遠方に小さく映る対象も高精細に捉える。4K映像全体を一般的な物体検出モデルの入力解像度に縮小する方式よりも、遠方の小さな対象の特徴を維持できるため、検知可能距離を3倍以上に拡大できることを確認している。さらに、検出結果をもとに対象を追跡し、位置・速度・移動方向などの「動きの情報」を推定する。
「高精細な切り出し画像」と「動きの情報」でVLMの状況判断を支援
検知した対象の種別や動きの情報から、VLMによる詳細な状況確認が必要と判定した場合、対象周辺を4K解像度を保ったまま切り出した高精細画像と、対象や周辺物体の位置・速度・移動方向などの「動きの情報」をセットでVLMへ入力する。その結果、VLMは切り出し画像から対象の形状や周囲との関係などの細部を確認しながら、画像だけでは分からない時間的な変化を「動きの情報」から把握し、状況判断を行なう。
必要な場面だけVLMで解析するイベントドリブン処理
平常時は、消費電力20W以下の「超高精細映像AI推論LSI」が4K映像を常時解析し、VLMによる詳細な状況判断が必要な現象を検知した場合にのみ、VLMによる解析を実行する。このイベントドリブン処理により、映像を継続的にVLMへ入力する構成と比べて、VLMへの入力回数を大幅に削減できる。
さらに、上記の通り、VLMへ入力する情報も高精細な切り出し画像と動きの情報に絞ることで、VLMへ送る情報量を抑え、処理負荷や通信量を低減するとともに、トークン消費量やシステム全体のエネルギー消費の低減も見込んでいる。
実験結果
事故発生の瞬間を含む1分間（1,800フレーム）の4K映像を用い、上記技術に基づいて構成したPoCシステムの動作を確認した。評価映像は、画面奥方向に走行する黄色の車両が上下線間の構造物に衝突し、車道を横切るように停止する事故場面を含んでいる。
4K映像全体をVLMへ入力した場合には、入力時の画像縮小によって黄色の車両が小さく潰れ、事故と判断できなかったが、同システムでは独自LSIを中核とする前段処理によって停止した黄色の車両を検知し、その周辺を元の4K映像から画素情報を保ったまま320×320画素で切り出した画像と、周辺車両を含む動きの情報をVLMへ入力することで、事故と判断できたという。
また、事故発生前後を含む映像変化の大きい1分間でも、VLMへの入力回数は34回に抑えられた。これは、全1,800フレームをVLMへ入力する場合と比べて、入力回数を約98.1%削減したことに相当する。さらに、VLMへ入力する画像を対象周辺の領域に絞ることで、入力するデータ量も大幅に削減できることを確認している。
