DGX Sparkでゼロから始めるAIワークステーション
リアルタイム文字起こしが可能な「Nemotron 3.5 ASR」で24時間音声メモ化ツールを作ってみた
2026年10月14日 14:14
短いオンライン会議はぼちぼちあるものの、以前よりは明らかに減っています。取材もすっかり元通りの対面がメインに。ふと気が付くと、そのために購入した立派なマイクがホコリをかぶっていました。
もったいないのでこのマイクを何かに活かせないものかな、と思い、NVIDIAが提供しているオープンな音声認識モデル「Nemotron 3.5 ASR」で、音声入力によるメモツールを作ってみることにしました。
NVIDIAの音声解析系AIモデル2種を試す
Nemotron 3.5 ASRは、英語、日本語をはじめ40言語に対応する、わずか6億パラメータの音声認識モデルです。サイズだけでなく動作も軽量で、ほぼリアルタイムに処理してくれるのが特徴となっています。
実際には音声データを少しずつ区切って渡して、それを処理してテキストで返してもらう、という仕組みなので、完全なリアルタイムとは言えないかもしれません。
が、区切る単位を最短80ミリ秒から最長1120ミリ秒まで段階的に設定でき、80ミリ秒なら多少精度を犠牲にしつつもかなり高速なレスポンスが得られます。反対に速度がそこまで必要ない用途なら、遅延させる代わりに精度を高められます。
それともう1つ、「Nemotron 3 Diarization」というモデルも組み合わせてみることにしました。音声を分離（話者分離）するためのモデルで、最大8人が同時にしゃべっている内容を聞き分けられるというものです。
こちらもパラメータ数としては1億しかないので、Nemotron 3.5 ASRと同時に使用したとしてもDGX Sparkの128GBメモリにとっては何の負担にもなりません。
PCとDGX Sparkを協調させるサーバー・クライアント型アプリに
これらのAIモデルを使って今回DGX Sparkで実現しようと思ったのは、最初に書いた通り音声入力してメモを作れるツールです。
といっても、今や多くのアプリが音声からの文字入力に対応していますし、OSレベルでサポートしていたりもします。いわゆる車輪の再発明になりそうなテーマかもしれません。が、常時マイクオンで、PCを使っている間ずっと音声からメモを作り続ける、という使い方に特化したツールはそう多くないように思います。
クラウドAIだと長時間使用は難しい場合がありますし、プライベートな音声が入り込む可能性も考えると、ローカル処理できるのは明らかなメリットです。前回のAI監視カメラもそうでしたが、動作を好きにカスタマイズしやすいのも日常的に使いたいツールとしては重要でしょう。
そしてなにより、眠っているマイクを有効活用したい、Nemotron 3.5 ASRなどの音声解析系AIモデルの性能を確かめてみたい、という動機もあります。
ということで、今回のツールの仕組みをざっくり説明しましょう。
下記の図を見てもらえると分かる通り、普段仕事に使っているWindowsデスクトップ（クライアント）からマイクで音声入力し、そのデータをDGX Spark（サーバー）に送って処理する形にしています。
DGX SparkではNemotron 3.5 ASRで文字起こしを行ない、Nemotron 3 Diarizationで話者分離、Qwen3.6-35B-A3B-NVFP4で清書して、最後にデスクトップ側のアプリ画面にメモ表示する、という流れです。
文字起こししたテキストはリアルタイムで表示はしますが、そのままメモにするわけではありません。メモとして使用するのに適した体裁になるよう、余計な言葉や言い回しを省くなどして整形出力する、というのが肝です。
ちなみに、会議などとは違って筆者1人しか声を吹き込まないので、Nemotron 3 Diarizationを使った話者分離の処理は不要と思われるかもしれません。
それはその通りなのですが、「人（筆者以外）の声を区別できる」性質を利用することで、「他人の声を認識しない」使い方もできます。しゃべっている間に家族が話しかけてきたり、ラジオを聞きながら作業をしたり、ということもありえるので、それを省けるなら精度向上が狙えます。
ただし、マイクをオンにして最初に発話した人の声だけを文字起こしする、というような処理になるので、どこまで有効に機能するかは試してみないと分からないですし、チューニングも必要になりそうではあります。
軽量、高速な処理で他AIとの並行稼働も問題なし
ツール開発にはWindows側でClaude Code（Sonnet 5.5・高）を、DGX Spark側でCodex（GPT-6.1 Sol xhigh）を使用しました。概ね半日で実装を完了しています。
使い方は、ホットキー（Ctrl＋Alt＋1など）でマイクをオンにし、しゃべるだけ。しゃべっている間は逐次文字起こしされ、清書されてメモになります。
作成されたメモはコピーボタンのクリックでクリップボードにコピーできるほか、言葉で「コピーして」のように指示することでもコピー操作できるようにしています。あとは他のアプリにペーストするだけです。
加えて、実使用では不要な機能ですが、念のためどれくらいの速度で文字起こしなどができているのかを計測する機能も盛り込みました。
DGX Spark側のメモリ使用量は、清書を担当するQwen 3.6が約33GBとそこそこ消費しています。一方、Nemotron 3.5 ASRは約1.5GB、Nemotron 3 Diarizationは約250MBと、予想通り少なめです。合計でも35GB未満で、DGX Spark全体のメモリ使用量は52GB前後でした。複数のツールを同時使用する余裕があるのは128GBメモリだからこそ、といった感じでしょうか。
音声入力ツールとしての使い勝手はどうかというと、文字起こしや清書のレスポンスがかなり高速で、快適です。
しゃべった内容を文字起こしする推論処理は、1チャンク（560ミリ秒）あたり55ミリ秒くらい。しゃべり続けたときのトータルで見ると、発話時間の10～20分の1の短い時間で処理できているようなので、リアルタイム「以上」と言っても良さそうです。
さらに文字起こしした内容の清書は100トークン/秒前後で生成しているので、こちらも高速です。清書の前の話者分離で数十～数百ミリ秒かかりますが、気になるほどの遅延ではありません。全体的には、しゃべり終わった瞬間に清書テキストが表示され、即コピーできるイメージです。
心配だった「ちゃんと筆者の声だけを認識するのか」という点も問題なし。マイクオンにした直後に筆者がしゃべっていれば、その後別の人の声が入り込んでも、一時的に文字起こしはするものの、清書したテキストには入り込まないよう省かれます。ある意味Nemotron 3 Diarizationをノイズキャンセラーとして使えています。
GPUの処理負荷としては、マイクがオンでも音声入力されていなけば使用率ゼロ。文字起こし中は1桁％で、最後の清書の処理で一瞬だけピーク（50～90％）が来る程度です。メモリ使用量だけでなくGPU負荷についても、全く別のAI処理を動かせるレベルでした。
音声チャットや語学学習にも応用できそう
1つ不満があるとすれば、清書されたテキストの品質でしょうか。ここはプロンプトを細かくブラッシュアップしていくか、使用するモデルをQwen 3.6ではなく別のものに置き換えるか、もう少し試行錯誤が必要です。
それでも、DGX Sparkならリアルタイムの音声入力と文字起こしが軽く、高速に行なえることがわかりました。Text to Speechの機能を加えればAIとの音声対話もできるでしょうし、翻訳ロジックを組み込めば語学学習にも活かせるように思います。
Nemotron 3.5 ASRとNemotron 3 Diarizationがあると、音声を扱う複雑なシステムも簡単に実現できます。みなさんもいろいろと作ってみたくなるのでは？
