Geçtiğimiz hafta bir geliştirici, $10 civarında bir mikrodenetleyicide yaklaşık 30 milyon parametreli bir dil modelini tamamen cihaz üzerinde çalıştırdı.

Model, 4‑bit kuantize edilerek 15 MB civarında bir dosya boyutuna indirgenmiş ve katman gömme tablosu yavaş flash belleğe, mantık ağı ise hızlı SRAM’e yerleştirilmiş; bu sayede sınırlı RAM kullanımı sağlanmış.

Model, TinyStories veri kümesiyle eğitildiği için yalnızca kısa kurgu metinleri üretebiliyor, soru yanıtı ya da kod üretimi gibi yetenekleri yok; önceki rekor 260 bin parametreyle sınırlıydı ve bu çalışma, gömülü sistemlerde yapay zekâ uygulamalarının sınırlarını genişletiyor.