Un simulador puede reproducir cada botón de la consola, cada pantalla y cada sonido del equipo y, aun así, enseñar poco. Otro, visualmente simple, puede preparar mejor para la primera vez frente a un paciente. La diferencia está en cuánto corresponden las decisiones que el alumno toma en el simulador a las que tomaría en el equipo.

Antes de llevar un simulador a un aula, una institución de enseñanza necesita saber qué entrena, cómo mide lo que hizo el alumno y con qué fundamento afirma que ese resultado significa algo.

Lo que dice la investigación sobre la fidelidad

En educación en salud, la fidelidad de un simulador suele entenderse como cuánto se parece a la situación real, cuánto se comporta como ella y si transmite la misma sensación. La definición es útil para diseñar, pero valora la semejanza física por encima de lo que produce aprendizaje.

En 2014, un grupo de investigadores que acababa de realizar una revisión sistemática sobre simulación en salud publicó en Academic Medicine una propuesta para abandonar el término. Según ellos, varios estudios muestran que el grado de fidelidad parece independiente de la eficacia educativa. La propuesta fue separar dos conceptos que la palabra mezclaba: semejanza física, cuánto se parece el simulador al equipo, y alineación funcional con la tarea, cuánto corresponde lo que el alumno hace en el simulador a lo que necesitará hacer en la práctica.

Una revisión publicada dos años antes en Medical Education ya apuntaba en la misma dirección. Reunió 24 estudios que compararon simuladores de alta y de baja fidelidad mediante medidas de desempeño clínico, en áreas como auscultación, técnica quirúrgica y reanimación cardíaca. Ambos tipos produjeron mejoras consistentes en comparación con grupos sin entrenamiento. Pero casi ningún estudio encontró una ventaja significativa del simulador más sofisticado, y las diferencias medias quedaron entre el 1% y el 2%.

La apariencia ayuda, pero la alineación con la tarea debe demostrarse antes que ella.

La pregunta funcional: ¿la decisión es la misma?

En la operación de equipos de imágenes, la alineación funcional con la tarea puede traducirse en una pregunta directa: ¿la decisión que el operador toma en el simulador es la misma que tomaría en el equipo, con la misma información disponible y las mismas consecuencias?

Esa pregunta cambia la forma de evaluar lo que falta y lo que sobra. Un recurso puede estar ausente sin perjuicio, cuando la decisión que representa no existe en el flujo simulado. Y puede estar presente sin enseñar nada, cuando modificarlo no cambia el resultado.

Responder a esa pregunta exige que el simulador declare, ítem por ítem, qué se calcula, qué se modela con simplificaciones y qué solo se representa para completar el flujo. Esa declaración fue el tema de un texto anterior. Sin ella, el instructor no tiene cómo saber qué puede exigirle al alumno.

Lo que la evidencia dice que hace funcionar la simulación

En 2005, una revisión sistemática publicada en Medical Teacher analizó 109 estudios comparativos sobre simulación en educación médica para identificar qué distinguía los usos eficaces. Las características más citadas fueron:

• retroalimentación, señalada por el 47% de los estudios como la característica más importante;
• práctica repetida, citada por el 39%;
• integración en el currículo, en lugar de un uso esporádico;
• variación de dificultad entre los ejercicios;
• variedad de situaciones clínicas, en lugar de un repertorio estrecho;
• entorno controlado, donde el alumno puede equivocarse, percibir el error y corregirlo sin consecuencias para nadie.

Los autores también registraron que la calidad metodológica de la investigación disponible era, en general, baja. Seis años después, un metaanálisis publicado en JAMA reunió 609 estudios con más de 35.000 participantes y encontró efectos grandes de la simulación sobre conocimientos, habilidades y comportamientos, y efectos moderados sobre resultados relacionados con los pacientes. La comparación, sin embargo, se hacía contra la ausencia de intervención. Ese tipo de comparación muestra que entrenar con simulación es mejor que no entrenar, pero no dice qué simulador es mejor ni por qué.

Equivocarse por la causa correcta

Un entorno donde el alumno puede equivocarse solo es útil si el error aparece por el motivo correcto. Cuando un parámetro mal elegido produce un artefacto, el artefacto debe venir de la física que lo explica, y no de una imagen prefabricada asociada a una etiqueta de “error”. Solo así el alumno aprende a reconocer la causa y a corregirla, en lugar de memorizar la apariencia del problema.

Una retroalimentación útil muestra qué ocurrió, qué habría sido adecuado y la razón física de la diferencia, a partir del registro de las decisiones que el alumno tomó durante el ejercicio. Ese registro también es lo que permite al instructor revisar la sesión después, en lugar de depender solo de la nota final.

Hay además una distinción que la evaluación debe respetar: no toda dificultad es un error de quien operó. Un paciente que se mueve, que no sostiene la respiración o que interrumpe el estudio crea problemas que el operador debe manejar, y la evaluación debe separar lo que se manejó bien de lo que causó el propio operador.

Qué medir y con qué peso

Toda nota es una afirmación sobre el desempeño de alguien, y esa afirmación depende de elecciones que deben ser explícitas.

La primera es qué entra en el cálculo. En la operación de equipos de imágenes hay criterios de seguridad del paciente, de calidad de imagen y de eficiencia, y no tienen el mismo peso. Olvidar preguntar por un implante no es comparable con tardar unos minutos más en terminar el estudio.

La segunda es si un criterio puede compensar a otro. En un modelo compensatorio, un desempeño excelente en una dimensión puede cubrir una falla en otra. En un modelo conjuntivo, cada dimensión crítica debe alcanzar un mínimo por sí sola. La literatura sobre evaluación compara ambos modelos desde hace décadas. En la formación para operar equipos que pueden dañar a los pacientes, tiene sentido que los ítems de seguridad sigan el modelo conjuntivo: la rapidez y una buena imagen no deberían compensar una falla en el cribado de seguridad.

La tercera elección es dónde se fijan los límites, es decir, a partir de qué punto un desempeño es suficiente. Los límites son una decisión de política educativa: la literatura justifica usar el modelo conjuntivo, pero los valores deben definirlos y revisarlos quienes forman y quienes ejercen.

La validez depende del uso que se haga de la nota

Decir que un simulador “está validado” sin explicar para qué dice muy poco. La investigación contemporánea en evaluación trata la validez como una hipótesis sobre el uso de un resultado: si el alumno obtuvo tal nota, ¿es justo concluir tal cosa sobre él y tomar tal decisión?

Una guía publicada en 2016 en la revista Advances in Simulation describe ese proceso para evaluaciones basadas en simulación. Primero se define qué se quiere medir y qué decisión se tomará con el resultado. Después se identifican los supuestos más frágiles de esa conclusión y se buscan evidencias para cada uno. La guía retoma un modelo que organiza esas evidencias en cinco fuentes:

• contenido: ¿las tareas y los criterios son los que importan en la práctica?
• proceso de respuesta: ¿el alumno razona en el simulador como razonaría frente al equipo, o aprende a explotar la lógica del software?
• estructura interna: ¿los criterios miden de forma coherente lo que dicen medir?
• relación con otras variables: ¿los profesionales experimentados tienen mejor desempeño que los principiantes? ¿El desempeño en el simulador acompaña al desempeño supervisado en la sala de examen?
• consecuencias: ¿las decisiones tomadas a partir de la nota, como habilitar a alguien para la práctica supervisada, resultan adecuadas?

El papel de los especialistas

Parte de esas evidencias solo puede venir de quienes ejercen. Técnicos y tecnólogos experimentados, docentes y médicos que acompañan estudios saben qué errores son frecuentes, cuáles son graves y qué situaciones aparecen en el día a día y no están en los libros. Cuando esas personas revisan los casos, los criterios de evaluación y los límites de aceptación, otras instituciones pasan a tener fundamento para adoptarlos.

Ese trabajo sigue métodos conocidos: paneles de especialistas que evalúan cada criterio en rondas sucesivas hasta llegar a un consenso, comparación entre el desempeño de profesionales experimentados y el de alumnos, y estudios piloto que acompañan a un grupo antes y después del uso. Mientras esa etapa no esté concluida, lo más honesto es decir que los criterios todavía no han sido validados, y quiénes los revisarán.

Preguntas que vale la pena hacerle a cualquier simulador

Una institución que evalúa un simulador para la enseñanza puede plantear estas preguntas directamente a quien lo ofrece:

• ¿Qué decisiones del operador reproduce, y cuáles deja fuera?
• ¿Qué se calcula, qué se simplifica y qué solo se representa?
• Cuando el alumno se equivoca, ¿el error aparece por la causa física o por una imagen asociada a una etiqueta?
• ¿La retroalimentación explica la causa del error, o solo informa que hubo un error?
• ¿Qué se mide, con qué peso, y pueden otros criterios compensar las fallas de seguridad?
• ¿Quién definió los límites de aceptación, y con qué fundamento?
• ¿Qué evidencias de validez existen, y cuáles siguen pendientes?

Referencias

• Hamstra SJ, Brydges R, Hatala R, Zendejas B, Cook DA. Reconsidering fidelity in simulation-based training. Academic Medicine, 2014;89(3):387-392.
• Norman G, Dore K, Grierson L. The minimal relationship between simulation fidelity and transfer of learning. Medical Education, 2012;46(7):636-647.
• Issenberg SB, McGaghie WC, Petrusa ER, Gordon DL, Scalese RJ. Features and uses of high-fidelity medical simulations that lead to effective learning: a BEME systematic review. Medical Teacher, 2005;27(1):10-28.
• Cook DA et al. Technology-enhanced simulation for health professions education: a systematic review and meta-analysis. JAMA, 2011;306(9):978-988.
• Cook DA, Hatala R. Validation of educational assessments: a primer for simulation and beyond. Advances in Simulation, 2016;1:31.
• Haladyna T, Hess R. An evaluation of conjunctive and compensatory standard-setting strategies for test decisions. Educational Assessment, 1999;6(2).