Qué pasó
- Nature publicó el 7 de octubre de 2026, en acceso abierto, “Retrofitting language models to operate over bytes”. Los autores son del Allen Institute for AI, la Universidad de Cambridge, la Universidad de Washington, el Imperial College London y la Universidad Ludwig Maximilian de Múnich.
- Los modelos de lenguaje actuales parten el texto en fragmentos de palabra, llamados tokens. Los modelos de bytes leen directamente la codificación del texto, pero hasta ahora rendían menos.
- El método, llamado “byteificación”, convierte un modelo ya entrenado en uno de bytes en dos etapas, con 49.100 millones de tokens en total, menos de 1% de un entrenamiento típico.
- Los autores convirtieron Olmo 3 7B y OLMo 2 1B en Bolmo 7B y Bolmo 1B. También Qwen3 8B en Bwen 8B y Llama 3 8B en Blama 8B.
- Según el resumen, los modelos superan a los de bytes anteriores y destacan en tareas de razonamiento sobre caracteres. Se evalúan en velocidad práctica y reutilizan el ecosistema del modelo original.
Por qué importa
- Los tokens fijan cuánto se paga por usar un modelo y qué idiomas rinden mejor. El artículo señala que la tokenización por fragmentos favorece al inglés. Para el español de Chile y para las lenguas indígenas, un modelo que lee bytes no depende de si el idioma estaba bien repartido en el vocabulario.
- Los autores dicen que no usaron datos de comprensión de caracteres en otros idiomas y aun así vieron mejoras en una prueba multilingüe. Es una señal, no una demostración.
- La consecuencia que el resumen no destaca: si cualquier modelo abierto se puede convertir con menos de 1% del costo, la barrera para tener variantes propias baja para universidades y empresas medianas.
El dato
49.100 millones. Los tokens usados en la conversión, menos de 1% de un entrenamiento típico, según los autores.
Contexto
Ai2 ya había abierto su infraestructura de entrenamiento de modelos de mezcla de expertos. Otro trabajo reciente mostró que podar un modelo de voz ensancha la brecha entre acentos: recortar donde el promedio no se nota suele pagarse en los grupos menos representados.
Qué viene
- El artículo está disponible en acceso abierto en Nature.
- La publicación no anuncia versiones comerciales ni plazos de adopción por parte de los grandes proveedores.
- Los modelos de frontera siguen usando subpalabras, según los autores.
Cierre
Los autores reconocen que ningún modelo líder usa bytes hoy. La prueba será si alguno se atreve a dejar los tokens.
Fuentes
Editado por Rodrigo Cornejo. Cómo seleccionamos y verificamos: quiénes escriben estas notas.
