Nick Mermiges, abogado de Columbia, South Carolina, actualizó su servidor de inteligencia artificial personalizado, equipado con ocho GPUs usadas de Nvidia V100 (cada una de 32 GB) y 1 TB de RAM DDR4, para trasladar el modelo DeepSeek V4.1 Flash de una precisión de 2 bits al formato NVFP4 de Nvidia.
El sistema mantiene aproximadamente el 38,7 por ciento (5.949 expertos) de la red de 15.360 expertos en modo NVFP4, mientras que el resto se conserva en 2 bits; así, entre el 80 y el 86 por ciento de las rutas de decodificación se procesan en expertos de alta precisión.
La tasa de 'same next token' aumentó de un 92,2 por ciento a un 95,1 por ciento, la divergencia KL pasó de 0,196 nats a 0,079 nats y el número de respuestas diferentes en pruebas múltiples pasó de 79 a 8.
