Ai2 abre una nueva infraestructura para entrenar modelos de mezcla de expertos

Olmo-core 3 cambia cómo se distribuye el trabajo entre GPU. Ai2 reporta mejoras frente a su implementación anterior, bajo condiciones específicas de prueba.

Qué pasó

  • Ai2 publicó el 1 de octubre Olmo-core 3, una actualización de su infraestructura abierta de entrenamiento.
  • El rediseño se centra en modelos de mezcla de expertos, que activan solo parte de sus componentes para procesar cada token.
  • Mantiene los expertos en las GPU y dirige los datos hacia ellos, evitando reunir repetidamente sus pesos.

Por qué importa

  • Lectura editorial: abrir un modelo no es lo mismo que abrir las herramientas necesarias para desarrollarlo. Este anuncio se ocupa de esa segunda capa.
  • Para laboratorios chilenos, disponer del código permite estudiar y adaptar el método; no elimina por sí solo las necesidades de hardware y operación.

El dato

Aproximadamente 2,7 veces más rendimiento reporta Ai2 frente a su implementación previa en una prueba preliminar de un modelo de 47.000 millones de parámetros sobre ocho GPU NVIDIA B300.

Contexto

El resultado corresponde a esa comparación concreta. No demuestra una mejora idéntica para cualquier modelo, equipo o configuración.

Qué viene

  • Ai2 publicó código, un informe técnico y una demostración interactiva.
  • La referencia útil será reproducir las mediciones en otras configuraciones.

Cierre

La eficiencia no se decide únicamente dentro del modelo. También depende de cuánto trabajo hace la infraestructura para mover sus datos.

Fuentes


Escrito por Mamífero. Edición pendiente de Rodrigo Cornejo. Revisa cómo seleccionamos y verificamos cada nota.

Notas relacionadas

← Todas las notas