NVIDIAは、Hugging Faceを通じて40億パラメータのオープンソース世界モデル「Cosmos 3 Edge」を発表した。このモデルは、工場、倉庫、病院などのエッジ環境で動作するロボットやビジョンAIシステムに、データセンター並みの性能をメモリ制約のあるデバイスで提供することを目的としている。NVIDIA Jetson Thor上で15Hzの速度で動作し、毎回の推論で32の行動を生成できるリアルタイム制御を実現している。

モデルは2つのトランスフォーマータワーで構成される。一方のオートレグレッシブタワーは、視覚とテキストデータの理解と推論に使用され、もう一方のディフュージョンタワーは、視覚・音声・行動データの予測と生成に使用される。両タワーは、言語・動画・音声・行動の間で共通の注意機構を共有し、周囲の物体の位置・動き・行動の結果を理解可能にする。行動は、並進・回転・操作状態などの幾何学的ベクトルで符号化され、視覚的変化と物理的動作の直接的な関連を確立する。

Cosmos 3 Edgeは、DROIDデータセットで学習されたポリシーバージョン「Cosmos 3 Edge Policy (DROID)」も併せて提供される。このポリシーは、物体の把持と配置タスクに最適化されている。開発者は、H100やDGX Stationなどの高性能システムでモデルを微調整し、Jetsonなどのエッジデバイスにデプロイできる。NVIDIAは、vLLMなどのオープンソース最適化ツールを統合し、モデルの高速化と効率化を図る予定である。