Metaは、300億パラメータのMuse Glimmerモデルをオープンソースとして公開した。このモデルは、20億パラメータの画像エンコーダーと280億パラメータのテキストエンコーダーで構成されている。Muse Glimmerは、画像や動画処理能力で注目されている。

Muse Glimmerは、20億パラメータの画像エンコーダーを使用して、画像や動画を処理できる。このモデルは、50層の画像タワーと2D RoPE注意メカニズムを使用している。また、モデルには、16倍少ないメモリ使用量を提供するGated Grouped-Query Attentionメカニズムも含まれている。

Muse Glimmerは、Transformers、Llama.cpp、vLLMなどのライブラリと互換性があり、NVIDIA、AMD、IntelのGPUと互換性がある。このモデルの使用には、Transformersライブラリの最新バージョンが必要である。