Mixture-of-Experts (MoE) modelleri, yüzlerlerce milyar parametre ölçeğine ölçeklenebilmesine rağmen, her bir token için büyük çoğunluk uzmanların bek olduğu halde her uzman MLP'inin inference zamanında bellekte yer işgal etmesi sorunlu bir maliyet getiriyor. Örneğin Qwen3.5-122B'de her bir 48 MoE katmanında 256 uzman bulunuyor ve toplam ~250 GB bellek izinin %95'i sadece bu uzman MLPs tarafından kaplanıyor. Her token için katman başına sadece 8 uzman kullanılsa da, mevcut pruning yöntemleri en az işe yarayan uzmanları kalıcı olarak silerek bu bellek boşluğunu serbest bırakmayı hedefliyor.
Uzman pruning, latent issues'la dynamic loading/off-loading'i pratikte zorlaştıran gecikme sorunlarından kaçınarak, herhangi bir eğitim gerektirmeden quantization ile uyumlu olabilen en doğrudan çözümler birinden. Sorun, hangi uzmanların silinebileceğine karar vermek ya da 'en az işe yarayan' uzmanları belirlemek ya da 'en güvenli' silinmelerini yapmak. Mevcut yöntemler, her uzmanı bağımsız olarak puanlayıp en az önemli olanları kesmeyi temel alıyor (first-order approach), ancak uzmanlar gerçekte işbirlikçi gruplar halinde çalışıyor ve bu cooperatif yapı performans için kritik.
Bu etkileri göz ardı ederse agresif pruning oranlarında performans kayıpları yaşanabilir. Arxiv yayınlanan yeni çalışmA