先週、ある開発者が10ドル程度のマイクロコントローラ上で約3000万パラメータの言語モデルを完全にデバイス上で動作させた。

モデルは4ビット量子化により約15MBのファイルサイズに圧縮され、層埋め込みテーブルは遅いフラッシュメモリに、論理ネットワークは高速SRAMに配置された。これにより、限られたRAM使用量が実現された。

このモデルはTinyStoriesデータセットで訓練されたため、短編フィクションのテキストのみを生成でき、質問応答やコード生成の機能はない。前の記録は26万パラメータに限られていたが、この成果は組み込みシステムにおける人工知能アプリケーションの可能性を広げている。