ニュース

ローカルでAIモデルを実行するための「Unsloth Desktop」がAMD XDNA 2 NPUをサポート

 AMDとUnslothは、ローカルハードウェア上でAIモデルを実行・学習するためのアプリ「Unsloth Desktop」において、AMD XDNA 2アーキテクチャベースのNPUが公式にサポートされる世界初のNPUとなったと発表した。

 Unslothは、AIモデルの高速な学習(ファインチューニング・強化学習など)とローカル実行を少ないメモリで行なうためのオープンソース基盤。今回の協業は、ローカルAIモデルを統合管理・実行できるオープンソースのサーバーおよびUIツール「Lemonade」において、AMD Ryzen AIのNPU(主にXDNA 2)を使いLLMなどを高速・省電力に推論するための軽量ランタイム「FastFlowLM」との統合によって実現。Unslothのユーザーエコシステムと専用のNPUアクセラレーションをシームレスに結びつけるものとなる。

 AMD XDNA 2 NPUは、対応する推論ワークロードをNPUの専用エンジンに負荷の肩代わりをすることで、バッテリー駆動時間を延ばしつつ、CPUやGPUのリソースを他のアプリケーションに割り当てることが可能となる。これにより、ユーザーそれぞれのPCの使い方に合わせたAIエージェントの使い方ができることとなる。

 また今回の統合により、Unsloth Desktop APIを通じ100種類を超えるエージェント型アプリケーションやワークフローへも対応することとなる。

【Unsloth Desktop. Meet AMD XDNA 2 NPU】