Meta, Muse Glimmer'den daha büyük karışık deneyimli uzmanlar mimarisiyle Muse Spark Open'i tanıttı ve en yetenekli açık ağırlıklı US modeli oldu. Bu model, kod tabanlarını okuma, kod yazma ve hata ayıklama gibi ajan kodlama görevleri için eğitildi; aynı anda görüntüler, ses ve video girişlerini de kabul eder.
Model, Muse Glimmer'in 30B parametreli sürümünden farklı olarak her katmanda 256 uzmandan oluşan Karışık Uzmanlar (MoE) bloğu içerir ve her token için 8 uzman seçilir; bu sayede tek token yaklaşık 42B parametreyle işlenirken, tüm 256 uzman hafızada kalır ve 816B parametreli bir modelin bellek gereksinimini gerektirir.
BF16 checkpoint'i safetensors formatında yaklaşık 1.5 TB boyutunda iken, NVFP4 checkpoint'i 4-bit hassasiyette kaydedildi ve NVIDIA Blackwell GPU'lar için optimize edilmiştir.