ByteDance、10兆パラメータに到達可能なAIモデルを訓練し、Anthropicの最先端Mythosシステムと競争することを狙っている。このモデルは、これまでに公開された最大の中国製モデルであるMoonshotのKimi K3の3倍の規模になる可能性がある。モデルの訓練は事前訓練段階で行われ、この段階は通常3〜6か月続く。ByteDanceのこの取り組みは、中国の研究所が単に追いつくだけでなく、米国の競合を凌駕することも目指していることを示している。

ByteDanceのモデルは現在事前訓練段階にあり、この段階は3〜6か月続く可能性がある。モデルの完全なサイズは後で決定される。Anthropicはモデルのサイズを明かしていないが、業界の予測では最先端のMythos 5は約8兆パラメータ、Fable 5は約5兆パラメータを持っているとされている。パラメータ数はモデルの情報保存能力の上限を決めるが、実際の性能はデータの質と訓練方法にも依存する。

ByteDanceのこの取り組みは、中国の研究所が単に追いつくだけでなく、米国の競合を凌駕することも目指していることを示している。ここ数週間、MoonshotとAlibabaのモデルは一部の分野でAnthropicのFable 5に近づいている。