AIロボットの思考をリアルタイムに可視化する「AT-SYNAPSE Web Console」

ロボットの『思考』をテキストでリアルタイムに可視化

　AT-SYNAPSE Web Consoleの「WHAT THE ROBOT IS THINKING」パネルには、LLMが受け取ったカメラ画像の解釈、周囲状況の判断、行動選択の根拠が、タイムスタンプ付きのログとして逐次表示される。

　ロボットが単に動作した結果だけでなく、「何を見たのか」「周囲をどのように認識したのか」「なぜその行動を選択したのか」まで確認できる。

機体状態を一画面で一元管理

　AT-SYNAPSE Web Consoleでは、ロボットの主要な状態情報を一画面に集約して表示する。主な表示項目は以下の通り。

• カメラ映像
• バッテリー電圧
• 左右車輪の回転数（RPM）
• 障害物までの距離
• 障害物が存在する方向
• ロボットとの接続状態
• AIの思考ログ

　機体の映像、電源状態、走行状態、周囲の安全状況を同時に確認できるため、現場から離れた場所でも、ロボットの状態を把握しやすくなる。

「脳」の置き場所を選ばないBrain on Desktop UI

　AT-SYNAPSEは、LLMエージェントをロボット本体に搭載するだけでなく、デスクトップPC上で動作させる「Brain on Desktop」にも対応。Claude DesktopなどのMCP対応アプリからロボットへ接続し、LLMエージェントがROS 2の各機能をツールとして利用できる。

Brain on Desktop

　Brain on Desktopでは、主に以下の処理を実行・確認可能。

• ロボットのカメラ画像取得
• 画像内容の認識・説明
• 周囲状況の判断
• ROS 2ツールの呼び出し
• ロボットへの動作指示
• 音声による応答
• 思考ログのWeb Consoleへの配信

　各ツールの呼び出しと実行結果を処理の流れに沿って処理するため、LLMエージェントがどの情報を取得し、どのような手順でロボットを動かしたのかを把握できる。

　ロボットの「脳」を高性能なデスクトップPCや外部コンピューターで動作させられるため、機体側の計算資源に制約されず、さまざまなLLMや開発環境を活用可能となる。

ROS 2・MCP・Webブラウザを統合

　AT-SYNAPSE Web ConsoleとBrain on Desktopは、NVIDIA Isaac Simを用いたデジタルツイン開発環境との連携にも対応する。

　AT-SYNAPSEとNVIDIA Isaac Simを組み合わせることで、ロボットが仮想空間内で取得したカメラ画像やLiDAR、オドメトリなどの情報をLLMが認識し、自律移動や障害物回避、安全停止などを判断する一連の処理を検証できるようになる。

思考ログと機体状態の統合表示で安全性・信頼性を向上

　AIの思考ログと機体状態を同じ画面で確認できるため、想定外の判断や誤動作の兆候を早期に発見しやすくなる。

　例えば、ロボットが障害物を認識した際に、「カメラには何が映っていたのか」「障害物センサーはどの距離を検出したのか」「LLMはその状況をどう解釈したのか」「どのような理由で停止や回避を選択したのか」を一連の情報として表示する。

開発・実証実験・現場運用まで同じUIを活用

　AT-SYNAPSE Web Consoleは、開発段階のデバッグだけでなく、PoC、実証実験、現場でのロボット運用にも利用可能。開発中に使用した監視・確認環境を、実証実験や導入後の運用に活かせるため、用途ごとに異なる監視システムを構築する必要がない。

NVIDIA Isaac Simと組み合わせた仮想空間での検証にも対応

　AT-SYNAPSE Web ConsoleとBrain on Desktopは、NVIDIA Isaac Simを用いたデジタルツイン開発環境との連携にも対応する。

　AT-SYNAPSEとNVIDIA Isaac Simを組み合わせることで、ロボットが仮想空間内で取得したカメラ画像やLiDAR、オドメトリなどの情報をLLMが認識し、自律移動や障害物回避、安全停止などを判断する一連の処理を検証できるようになる。