Meta ha presentado Muse Glimmer, un modelo de IA de 30 mil millones de parámetros que funciona localmente. El modelo puede gestionar codificación, uso de herramientas y tareas multietapa de manera local. Muse Glimmer puede operar con 20 GB de memoria gracias a la cuantización de 4 bits y se puede utilizar en una Mac o PC con una sola GPU de consumo.
Muse Glimmer ha sido entrenado en más de 100 idiomas y utiliza decodificación especulativa para respuestas rápidas. El modelo es capaz de reconocer errores y volver a intentarlo, y está disponible a través de Hugging Face. Próximamente se añadirá soporte para herramientas de IA locales populares.
Muse Glimmer supera las limitaciones de los modelos de IA basados en la nube al ofrecer ventajas de funcionamiento local. Sin embargo, no se debe olvidar que el modelo requiere una alta capacidad de memoria y solo es compatible con ciertas GPU.