Açık kaynak büyük dil modelleri (LLM), OpenAI ve Anthropic gibi şirketlerin rekabet avantajını oluşturan mühürleri hızla azaltıyor. Müşteriler artık bu modelleri kendi donanımlarında çalıştırabiliyor ve tek sınırlama fiziksel işlem kaynakları haline geliyor. TerminalBytes adlı kanal, bu durumu kişisel bilgisayarlarda gösteriyor.

TerminalBytes, Mac Studio'daki 256 GB birleşik RAM ile Qwen3.8'in 27B versiyonunu çalıştırıp, aynı modelin farklı kuantizasyonlarını da karşılaştırdı. Kuantize edilmiş sürümler, ağırlıkları daha az bitle saklayarak bellek kullanımını düşürür; 1-bit kuantizasyon sadece 16 GB RAM olan ortak oyun bilgisayarlarında da denendi. Bu testler, birçok ortalama PC'nin bu modelleri rahatça çalıştırabileceğini gösteriyor.

Gelecek model versiyonları, birim zamanında üretilen token sayısını artırarak veya yanıt kalitesini yükselterek aynı performansı daha az kaynakla sağlamayı hedefliyor. Ancak her bilgisayar kullanıcısının Linux kullanmadığı gerçeği, yerel modellerin kolay çalışmasının AI balonunun patlamasının tek nedeni olmayacağını gösteriyor. Böylece mühür artık principalement fiziksel hesaplama kapasitesine dayanıyor.