MetaはMuse Glimmerより大規模な混合専門家アーキテクチャを採用し、最優秀のオープンソース米国モデルとしてMuse Spark Openを発表した。このモデルは、コードベースの読み取り、コードの作成、デバッグなどのエージェントコーディングタスクのために訓練されており、テキストだけでなく画像、音声、動画の入力も同時に受け入れる。

モデルはMuse Glimmerの30Bパラメータ版とは異なり、各レイヤーに256の専門家からなる混合専門家ブロックを含み、トークンごとに8つの専門家が選択される。これにより、1トークンあたり約42Bパラメータで処理される一方で、すべての256の専門家がメモリに残り、1つのモデル全体で816Bパラメータ分のメモリ要件を必要とする。

BF16チェックポイントはsafetensors形式で約1.5TBのサイズであり、NVFP4チェックポイントは4ビットの精度で保存され、NVIDIA Blackwell GPU向けに最適化されている。