La inteligencia artificial aprende a partir de ejemplos: un modelo reconoce lo que estaba en los ejemplos de entrenamiento.

En salud, las diferencias de población, equipos, protocolos y condiciones de acceso forman parte del escenario. Una solución desarrollada lejos de ese contexto puede encontrar límites cuando llega a la rutina real.

Qué cambia entre donde el modelo aprendió y donde funciona

Adaptar un sistema a Brasil implica conocer los equipos, los protocolos y la población de cada servicio en que va a funcionar. En imagen médica, la diferencia entre dos servicios queda registrada en el propio archivo.

El fabricante y el modelo del equipo cambian. La intensidad del campo magnético cambia. El filtro de reconstrucción de la tomografía cambia. El espesor de corte, el tiempo de repetición, la fase de contraste, el uso o no de una secuencia específica: todo eso varía entre protocolos, y cada variación altera la apariencia de la imagen que el modelo recibe.

La población también cambia. Edad, biotipo, prevalencia de las condiciones investigadas, momento en que las personas llegan al estudio: en un servicio que atiende derivaciones tardías, la enfermedad aparece en un estadio distinto del que aparece en un cribado de rutina.

Un modelo aprende la distribución que le fue mostrada, no la enfermedad en abstracto. Cuando esa distribución cambia, el desempeño puede caer sin que nada en el sistema señale una falla. Es la forma más incómoda de error: el modelo sigue respondiendo con la confianza de siempre, y lo que cambió no aparece en la pantalla.

La misma exactitud produce resultados distintos

Hay una confusión frecuente entre dos preguntas que parecen la misma y no lo son.

La primera es sobre el modelo: entre los estudios en que la condición está presente, ¿cuántos identifica? Entre los normales, ¿cuántos deja en paz? Son la sensibilidad y la especificidad, medidas en el estudio de validación.

La segunda es sobre la decisión: este resultado positivo, aquí delante de mí, ¿qué probabilidad tiene de ser verdadero? Esa respuesta no depende solo del modelo. Depende también de cuán común es la condición en la población que pasa por ese servicio.

Cuanto más rara la condición, mayor la proporción de falsas alarmas entre los resultados positivos, aunque el modelo funcione exactamente como fue medido. Un sistema validado en un centro de referencia, donde los casos llegan ya seleccionados, puede producir una avalancha de positivos sin confirmación al aplicarse a una población general. Ningún componente del sistema falló; lo que cambió fue la prevalencia.

Quién etiquetó los ejemplos, y con qué criterio

Todo modelo supervisado aprende a reproducir una etiqueta. Antes de preguntar qué acertó, vale preguntar qué fue considerado correcto.

Las etiquetas extraídas automáticamente de los textos de informe cargan el vocabulario y las dudas de quien escribió: “no se puede excluir”, “probable”, “compatible con”. Convertir eso en una columna de sí o no exige decisiones que rara vez se explican después.

Las etiquetas producidas por una relectura dedicada son más consistentes, pero dependen de cuántas personas leyeron cada estudio y de qué se hizo cuando discreparon. Y discrepan: la variación entre observadores es un hecho conocido en radiología, no un defecto del equipo.

Lo que el modelo aprende, entonces, no es la verdad. Es el juicio de un grupo específico de personas, con sus convenciones y sus puntos ciegos, congelado en una tabla. Saber quién fue ese grupo es parte de saber dónde se aplica el modelo.

Funcionar en el estudio y funcionar en el servicio

Hay una diferencia grande entre un modelo que va bien en la parte separada del mismo conjunto de datos y un modelo que va bien en otro servicio, con otro equipo y otra población.

La primera medida dice que el modelo aprendió algo más que memorizar. La segunda dice si el modelo sigue acertando con datos de otro servicio. Son preguntas distintas, y la segunda es la que le importa a quien va a instalarlo.

También vale separar lo que se midió mirando hacia atrás, en estudios ya archivados, de lo que se midió acompañando estudios a medida que ocurrían. La evaluación retrospectiva es más barata y más rápida, y es un buen filtro inicial. Pero no muestra qué ocurre cuando el resultado del modelo llega a tiempo de influir en una conducta, que es el momento en que la herramienta pasa a tener consecuencias.

Después de instalar, el trabajo continúa

El desempeño medido en la instalación puede dejar de valer a medida que el servicio cambia. El equipo se sustituye. El protocolo se revisa. El perfil de la demanda cambia después de un nuevo convenio o de una campaña de cribado. Cada uno de esos cambios desplaza un poco la distribución que el modelo aprendió, y el efecto acumulado puede pasar inadvertido.

Acompañarlo exige algunas cosas simples y continuas: observar si la proporción de resultados positivos cambia sin explicación clínica; comparar periódicamente las respuestas del modelo con lo que se confirmó después; registrar cuándo el profesional discrepa, de modo que discrepar sea fácil y deje rastro; y mantener documentado en qué población, con qué equipos y con qué protocolos se validó ese modelo, para que la pregunta “¿sirve aquí?” tenga dónde ser respondida.