ByteDance, entrenando un modelo de IA que podría alcanzar 10 billones de parámetros, tiene como objetivo competir con los sistemas Mythos más avanzados de Anthropic. Este modelo podría ser tres veces más grande que el Kimi K3 de Moonshot, el modelo chino más grande publicado hasta la fecha. El entrenamiento del modelo ocurre en la fase de preentrenamiento, que generalmente dura entre tres y seis meses. Los esfuerzos de ByteDance muestran que los laboratorios chinos no solo buscan ponerse al día, sino también superar a sus competidores de EE. UU.
El modelo de ByteDance se encuentra actualmente en la fase de preentrenamiento, que podría durar entre tres y seis meses. El tamaño total del modelo se determinará más tarde. Aunque Anthropic no divulga los tamaños de sus modelos, las estimaciones de la industria indican que el Mythos 5 más avanzado tendría aproximadamente 8 billones de parámetros y el Fable 5 alrededor de 5 billones de parámetros. La cantidad de parámetros determina los límites de almacenamiento de información de los modelos, pero el rendimiento real también depende de la calidad de los datos y los métodos de entrenamiento.
Los esfuerzos de ByteDance muestran que los laboratorios chinos no solo buscan ponerse al día, sino también superar a sus competidores de EE. UU. En las últimas semanas, los modelos de Moonshot y Alibaba se han acercado al Fable 5 de Anthropic en algunos ámbitos.