La semana pasada, un desarrollador ejecutó un modelo de lenguaje de aproximadamente 30 millones de parámetros completamente en un microcontrolador de 10 dólares.

El modelo se redujo a un tamaño de archivo de alrededor de 15 MB mediante cuantización de 4 bits, y la tabla de incrustaciones de capas se colocó en la memoria flash lenta, mientras que la red lógica se ubicó en la SRAM rápida, lo que permitió un uso limitado de RAM.

El modelo fue entrenado con el conjunto de datos TinyStories, por lo que solo puede generar textos de ficción cortos y no tiene capacidades como respuesta a preguntas o generación de código. El récord anterior estaba limitado a 260.000 parámetros, y este trabajo está ampliando los límites de las aplicaciones de inteligencia artificial en sistemas embebidos.