NVIDIA, Cosmos 3 Edge adlı 4 milyar parametrelik açık kaynaklı bir dünya modelini Hugging Face üzerinden duyurdu. Bu model, fabrikalar, depolar ve hastaneler gibi kenar ortamlarında çalışan robotlara ve görsel AI sistemlerine, veri merkezi düzeyindeki performansı bellek kısıtlı cihazlarda sunmayı amaçlıyor. NVIDIA Jetson Thor üzerinde 15 Hz hızında, her çıkarımda 32 eylem üretme kapasitesiyle gerçek zamanlı kontrol sağlıyor.

Model, iki transformer kulesinden oluşuyor: otoregresif kule, görsel ve metin verilerini anlama ve muhakeme etmek için; difüzyon kule ise görsel, ses ve eylem verilerini tahmin etmek ve üretmek için kullanılıyor. Bu iki kule, dil, video, ses ve eylem arasında ortak bir dikkat mekanizması paylaşarak, çevredeki nesnelerin konumunu, hareketini ve eylemlerin sonuçlarını anlamayı mümkün kılıyor. Eylemler, translasyon, rotasyon ve manipülasyon durumu gibi geometrik vektörlerle kodlanarak, görsel değişimlerle fiziksel hareketler arasında doğrudan bir bağlantı kuruluyor.

Cosmos 3 Edge, aynı zamanda DROID veri setiyle eğitilmiş bir politika sürümü olan Cosmos 3 Edge Policy (DROID) ile birlikte geliyor. Bu politika, özellikle nesne tutma ve yerleştirme görevlerinde optimize edilmiştir. Geliştiriciler, H100 veya DGX Station gibi güçlü sistemlerle modeli kendi ihtiyaçlarına göre ince ayarlayıp, Jetson gibi kenar cihazlarına dağıtabiliyor. NVIDIA, modelin daha hızlı ve verimli çalışması için vLLM gibi açık kaynaklı optimizasyon araçlarını da entegre etmeyi planlıyor.