Qué pasó
- Manar Aljohani, Brandon Ho, Kenneth McKinley, Dennis Ren y Xuan Wang publicaron el 2 de octubre de 2026 en arXiv una auditoría de 10 modelos de lenguaje abiertos usados para asignar el nivel de urgencia pediátrica según el Índice de Severidad de Emergencias (ESI), una escala de 1 a 5.
- Partieron de casos clínicos reales y de manual, y crearon pares que solo cambian un dato no clínico: demográfico, socioeconómico, de acceso a salud, conductual, social o del contexto del sistema. La presentación clínica se mantuvo igual.
- Entre los modelos auditados están variantes de Qwen2.5, MedGemma, MedLLaMA2 y GPT-OSS de 20.000 y 120.000 millones de parámetros.
- La sensibilidad a esos cambios varió mucho y no bajó de forma consistente con más tamaño ni con preentrenamiento médico. Una versión de Qwen2.5-7B con ajuste fino cambió el nivel en 5,27% de los pares, frente a 16,02% del modelo base.
Por qué importa
- Los modelos abiertos atraen a hospitales porque pueden correr dentro de la institución sin enviar datos afuera. El estudio muestra que esa ventaja de privacidad no trae consigo una ventaja de equidad.
- Para servicios de urgencia en Chile y la región que exploran asistentes de categorización, la elección no se resuelve comprando el modelo más grande ni el que dice ser médico. Hay que auditarlo con pares de casos antes de usarlo.
- Los autores advierten que las tasas agregadas esconden la dirección del error. Subir o bajar la urgencia de un niño por un dato no clínico tiene consecuencias distintas, y una sola cifra no las distingue.
El dato
16,02%. Pares de casos en que el modelo base Qwen2.5-7B cambió el nivel de urgencia solo por un dato no clínico.
Contexto
Asignar urgencia ordena la espera de todos los demás pacientes, por eso un error ahí se multiplica. Los problemas ya aparecieron en otros puntos del hospital: nueve modelos omiten información clínica al leer fichas completas, y en el Reino Unido los escribas de IA confunden fármacos y los pacientes detectan los errores.
Qué viene
- Los autores proponen la auditoría contrafactual como método liviano para comparar riesgos antes de un despliegue clínico.
- El paper es un preprint en versión 1, sin revisión por pares.
- Sin plazos anunciados para auditorías equivalentes en otros idiomas.
Cierre
El ajuste fino redujo la sensibilidad a un tercio. El sesgo no desaparece con escala; se corrige con trabajo específico, y alguien tiene que pagarlo antes de que el modelo llegue a la sala de espera.
Fuentes
Editado por Rodrigo Cornejo. Cómo trabajamos: quiénes escriben las notas.
