Metaがローカルで動作する300億パラメータのAIモデル「Muse Glimmer」を発表した。このモデルはコーディング、ツール操作、複数ステップのタスクをローカルで処理できる。4ビット量子化技術により20GBのメモリで動作し、MacやPCの消費者向けGPU1台で利用可能。

Muse Glimmerは100以上の言語でトレーニングされており、迅速なレスポンスのために推測的デコーディングを採用。エラーを検知して再試行する能力を持ち、Hugging Face経由で利用可能。人気のローカルAIツールへの対応も近く提供予定。

Muse GlimmerはクラウドベースのAIモデルの制約を超え、ローカル実行の利点を提供する。ただし、ローカル実行には高いメモリ要件があり、特定のGPUとのみ互換性がある点に注意が必要。