NVIDIA anunció Cosmos 3 Edge, un modelo de mundo abierto de 4 mil millones de parámetros, a través de Hugging Face. Este modelo busca brindar a robots y sistemas de IA visual operando en entornos de borde, como fábricas, almacenes y hospitales, un rendimiento comparable al de los centros de datos, pero en dispositivos con restricciones de memoria. En NVIDIA Jetson Thor, proporciona control en tiempo real a 15 Hz, generando hasta 32 acciones por inferencia.
El modelo consta de dos torres de transformer: una torre autoregresiva, encargada de comprender y razonar sobre datos visuales y de texto; y una torre de difusión, diseñada para predecir y generar datos visuales, auditivos y de acción. Ambas torres comparten un mecanismo de atención común que permite entender la ubicación, el movimiento de los objetos en el entorno y las consecuencias de las acciones. Las acciones se codifican como vectores geométricos que representan traslación, rotación y estado de manipulación, estableciendo una conexión directa entre cambios visuales y movimientos físicos.
Cosmos 3 Edge también se entrega junto con una versión de política entrenada con el conjunto de datos DROID, denominada Cosmos 3 Edge Policy (DROID), optimizada específicamente para tareas de agarre y colocación de objetos. Los desarrolladores pueden ajustar finamente el modelo en sistemas potentes como H100 o DGX Station y luego implementarlo en dispositivos de borde como Jetson. NVIDIA planea integrar herramientas de optimización de código abierto, como vLLM, para mejorar la velocidad y eficiencia del modelo.