Meta ha tomado la decisión de enfocarse en modelos de lenguaje de gran escala de pesos abiertos. La empresa ha prometido abrir los pesos del modelo Muse Glimmer de 30 mil millones de parámetros y del más potente Muse Spark 1.2. Muse Glimmer está diseñado para funcionar en las máquinas locales de los usuarios.
Muse Glimmer viene con una ventana de contexto de 128.000 tokens y es de código abierto bajo la licencia Apache 2.0. El modelo ha sido destilado del modelo Muse Spark más grande y capaz. Los pesos de Muse Spark 1.2 se abrirán en las próximas semanas.
Con este movimiento, Meta busca reducir la dependencia de los usuarios de los modelos de grandes laboratorios y permitir la inferencia en dispositivos locales. Sin embargo, el rendimiento de Muse Glimmer puede ser inferior al de los modelos de empresas como Anthropic y OpenAI.