Qué pasó
- DeepSeek publicó en GitHub, con licencia Apache 2.0, DeepInfer: el marco de inferencia (el programa que ejecuta un modelo ya entrenado para responder consultas) que, según su propio README, sostiene sus servicios en producción.
- Esta primera versión cubre inferencia por lotes y un único modelo, DeepSeek-V4.1-Flash, con el punto de control deepseek-ai/DeepSeek-V4.1-Flash-1017 como opción por defecto.
- Corre sobre GPU Nvidia de arquitectura SM100 y sobre las NPU Ascend 950 de Huawei. Pide Linux, Python 3.12, CUDA 13 en Nvidia y CANN 9.2 en Ascend.
- El README declara lo que no incluye: sistema de caché KV, separación de las fases de prefill y decode, y balanceo de carga entre réplicas.
Por qué importa
- Es la segunda pieza en un mes. En septiembre DeepSeek subió a GitHub sus librerías DeepGEMM y DeepEP para Ascend. Ahora publica el motor que las usa.
- Para una empresa chilena que arrienda GPU, el efecto no es inmediato. Sin caché ni balanceo, DeepInfer sirve para probar el modelo en hardware propio, no para atender a miles de usuarios a la vez.
- La consecuencia que el README no menciona: un modelo abierto que corre con el mismo código en dos fabricantes baja el costo de cambiar de proveedor de cómputo. Quien negocia precio de GPU en América Latina tiene un argumento que antes no tenía.
- El envoltorio es abierto, pero la procedencia importa. El código viene de una compañía que tres organismos de seguridad de EE.UU. nombraron en septiembre por destilación. Revisar el código fuente es parte de adoptarlo.
El dato
2 familias de chips. Nvidia SM100 y Huawei Ascend 950, con un mismo código de inferencia.
Contexto
El repositorio no indica fecha de lanzamiento. Muestra curvas de rendimiento para prefill y decode, medidas en 4 GPU SM100 para la primera fase y 64 para la segunda, pero no entrega cifras de rendimiento en el texto. Hasta que terceros midan, el desempeño es una declaración de la compañía.
Qué viene
- Sin hoja de ruta ni plazos anunciados en el repositorio.
- Pendiente: las tres piezas ausentes, que decidirán si alguien fuera de DeepSeek lo usa en producción.
- Pendiente: mediciones independientes sobre Ascend 950 y SM100 con el mismo modelo.
Cierre
En septiembre DeepSeek abrió las herramientas para Ascend. El motor completa el paquete, con la salvedad de que lo necesario para operar a escala sigue sin publicarse.
Fuentes
Editado por Rodrigo Cornejo. Quiénes escriben las notas
