Avukat sekiz V100 GPU'lu sunucusuyla DeepSeek'i 2-bit'ten NVFP4 hassasiyetine yükseltti
Columbia, South Carolina'lı bir avukat, sekiz kullanılmış Nvidia V100 GPU ve 1 TB RAM'den oluşan özel AI sunucusunu güncelleyerek DeepSeek V4.1 Flash modelini 2-bit'ten NVFP4 hassasiyetine taşıdı, böylece model sadakatini artırdı ancak kod üretim hızında %3-30 oranında bir yavaşlama yaşandı.
Tom's Hardware 15 Kasım 2026Kaynakta yayın: 14 Kasım 2026 15:50 GMT+3 1 dk okuma AI destekli özgün özet
Görsel: Haber AI · Z-Image Turbo · Hugging Face AI
Columbia, South Carolina'lı dava avukatı Nick Mermiges, sekiz kullanılmış Nvidia V100 GPU (her biri 32 GB) ve 1 TB DDR4 RAM ile donatılmış özel AI sunucusunu güncelleyerek, hukuk pratiğinde kullandığı DeepSeek V4.1 Flash modelini 2-bit kuantizasyondan Nvidia'nın 4-bit NVFP4 formatına yükseltti.
Sistem, modelin 15.360 uzman (expert) ağacının yaklaşık %38,7'sini (5.949 uzman) NVFP4 hassasiyetinde tutarken geri kalanını 2-bit'te bırakıyor; bu sayede çözme (decode) rotalarının %80-86'sı yüksek hassasiyetli uzmanlarda işleniyor.
Nvidia'nın resmi modeline göre ölçülen 'same next token' oranı %92,2'den %95,1'e çıktı, KL sapması 0,196 nats'tan 0,079 nats'a düştü ve çoktan seçmeli testlerde farklı cevap sayısı 79'dan 8'e indi.