Um simulador pode reproduzir cada botão do console, cada tela e cada som do equipamento e, ainda assim, ensinar pouco. Outro, visualmente simples, pode preparar melhor para a primeira vez diante de um paciente. A diferença está em quanto as decisões que o aluno toma no simulador correspondem às que tomaria no equipamento.

Antes de colocar um simulador numa sala de aula, uma instituição de ensino precisa saber o que ele treina, como mede o que o aluno fez e com que base afirma que esse resultado significa alguma coisa.

O que a pesquisa diz sobre fidelidade

Em educação em saúde, a fidelidade de um simulador costuma ser entendida como o quanto ele se parece com a situação real, se comporta como ela e transmite a mesma sensação. A definição é útil para projetar, mas valoriza a semelhança física acima do que produz aprendizado.

Em 2014, um grupo de pesquisadores que havia acabado de conduzir uma revisão sistemática sobre simulação em saúde publicou na Academic Medicine uma proposta de abandonar o termo. Segundo eles, vários estudos mostram que o grau de fidelidade parece independente da eficácia educacional. A proposta foi separar dois conceitos que a palavra misturava: semelhança física, o quanto o simulador se parece com o equipamento, e alinhamento funcional com a tarefa, o quanto aquilo que o aluno faz no simulador corresponde ao que ele precisará fazer na prática.

Uma revisão publicada dois anos antes na Medical Education já apontava na mesma direção. Ela reuniu 24 estudos que compararam simuladores de alta e de baixa fidelidade usando medidas de desempenho clínico, em áreas como ausculta, técnica cirúrgica e reanimação cardíaca. Os dois tipos produziram ganhos consistentes em relação a grupos sem treinamento. Mas quase nenhum estudo encontrou vantagem significativa do simulador mais sofisticado, e as diferenças médias ficaram entre 1% e 2%.

A aparência ajuda, mas o alinhamento com a tarefa precisa ser demonstrado antes dela.

A pergunta funcional: a decisão é a mesma?

Na operação de equipamentos de imagem, alinhamento funcional pode ser traduzido numa pergunta direta: a decisão que o operador toma no simulador é a mesma que ele tomaria no equipamento, com as mesmas informações disponíveis e as mesmas consequências?

Essa pergunta muda a forma de avaliar o que falta e o que sobra. Um recurso pode estar ausente sem prejuízo, quando a decisão que ele representa não existe no fluxo simulado. E pode estar presente sem ensinar nada, quando mexer nele não muda nada no resultado.

Responder a essa pergunta exige que o simulador declare, item a item, o que é calculado, o que é modelado com simplificação e o que é apenas representado para completar o fluxo. Essa declaração foi o tema de um texto anterior. Sem ela, o instrutor não tem como saber o que pode cobrar do aluno.

O que a evidência diz que faz a simulação funcionar

Em 2005, uma revisão sistemática publicada na Medical Teacher analisou 109 estudos comparativos sobre simulação em educação médica para identificar o que diferenciava os usos eficazes. As características mais citadas foram:

• feedback, apontado por 47% dos estudos como a característica mais importante;
• prática repetida, citada por 39%;
• integração ao currículo, em vez de uso esporádico;
• variação de dificuldade entre os exercícios;
• variedade de situações clínicas, em vez de um repertório estreito;
• ambiente controlado, onde o aluno pode errar, perceber o erro e corrigi-lo sem consequências para ninguém.

Os autores também registraram que a qualidade metodológica da pesquisa disponível era, em geral, fraca. Seis anos depois, uma meta-análise publicada no JAMA reuniu 609 estudos com mais de 35 mil participantes e encontrou efeitos grandes da simulação sobre conhecimento, habilidades e comportamentos, e efeitos moderados sobre resultados ligados a pacientes. A comparação, porém, era com nenhuma intervenção. Esse tipo de comparação mostra que treinar com simulação é melhor do que não treinar, mas não diz qual simulador é melhor, nem por quê.

Errar pela causa certa

Um ambiente onde o aluno pode errar só é útil se o erro aparecer pelo motivo certo. Quando um parâmetro mal escolhido produz um artefato, o artefato precisa vir da física que o explica, e não de uma imagem pronta associada a um rótulo de “erro”. Só assim o aluno aprende a reconhecer a causa e a corrigi-la, em vez de memorizar a aparência do problema.

Um feedback útil mostra o que aconteceu, o que teria sido adequado e a razão física da diferença, a partir do registro das decisões que o aluno tomou durante o exercício. Esse registro também é o que permite ao instrutor revisar a sessão depois, em vez de depender só da nota final.

Há ainda uma distinção que a avaliação precisa respeitar: nem toda dificuldade é erro de quem operou. Um paciente que se move, que não sustenta a respiração ou que interrompe o exame cria problemas que o operador precisa administrar, e a avaliação precisa separar o que foi bem administrado do que foi causado pelo próprio operador.

Medir o quê, e com que peso

Toda nota é uma afirmação sobre o desempenho de alguém, e essa afirmação depende de escolhas que precisam ser explícitas.

A primeira é o que entra na conta. Em operação de equipamentos de imagem, há critérios de segurança do paciente, de qualidade da imagem e de eficiência, e eles não têm o mesmo peso. Esquecer de perguntar sobre um implante não é comparável a levar alguns minutos a mais para concluir o exame.

A segunda é se um critério pode compensar outro. Num modelo compensatório, um desempenho excelente numa dimensão pode cobrir uma falha em outra. Num modelo conjuntivo, cada dimensão crítica precisa atingir um mínimo por si só. A literatura de avaliação compara os dois modelos há décadas. Em formação para operar equipamentos que podem ferir pacientes, faz sentido que os itens de segurança sigam o modelo conjuntivo: rapidez e boa imagem não deveriam compensar uma falha de triagem.

A terceira escolha é onde ficam os limites, ou seja, a partir de que ponto um desempenho é suficiente. Os limites são uma decisão de política educacional: a literatura justifica usar o modelo conjuntivo, mas os valores precisam ser definidos e revisados por quem forma e por quem pratica.

Validade depende do uso que se faz da nota

Dizer que um simulador “é validado” sem explicar para quê diz muito pouco. A pesquisa contemporânea em avaliação trata a validade como uma hipótese sobre o uso de um resultado: se o aluno teve tal nota, é justo concluir tal coisa a respeito dele e tomar tal decisão?

Um guia publicado em 2016 na revista Advances in Simulation descreve esse processo para avaliações baseadas em simulação. Primeiro se define o que se quer medir e que decisão será tomada com o resultado. Depois se identificam as suposições mais frágeis dessa conclusão e se buscam evidências para cada uma. O guia retoma um modelo que organiza essas evidências em cinco fontes:

• conteúdo: as tarefas e os critérios são os que importam na prática?
• processo de resposta: o aluno raciocina no simulador como raciocinaria diante do equipamento, ou aprende a explorar a lógica do software?
• estrutura interna: os critérios medem de forma coerente aquilo que dizem medir?
• relação com outras variáveis: profissionais experientes têm desempenho melhor que iniciantes? O desempenho no simulador acompanha o desempenho supervisionado em sala?
• consequências: as decisões tomadas a partir da nota, como liberar alguém para a prática supervisionada, se mostram adequadas?

O papel dos especialistas

Parte dessas evidências só pode vir de quem pratica. Técnicos e tecnólogos experientes, docentes e médicos que acompanham exames sabem quais erros são frequentes, quais são graves e quais situações aparecem no dia a dia e não estão nos livros. Quando essas pessoas revisam os casos, os critérios de avaliação e os limites de aceitação, outras instituições passam a ter base para adotá-los.

Esse trabalho tem uma forma conhecida: painéis de especialistas que avaliam cada critério em rodadas sucessivas até chegar a consenso, comparação entre o desempenho de profissionais experientes e de alunos, e estudos-piloto que acompanham uma turma antes e depois do uso. Enquanto essa etapa não está concluída, o mais honesto é dizer que os critérios ainda não foram validados, e por quem serão revisados.

Perguntas que vale fazer a qualquer simulador

Uma instituição que avalia um simulador para ensino pode fazer estas perguntas diretamente a quem o oferece:

• Quais decisões do operador ele reproduz, e quais deixa de fora?
• O que é calculado, o que é simplificado e o que é apenas representado?
• Quando o aluno erra, o erro aparece pela causa física ou por uma imagem associada a um rótulo?
• O feedback explica a causa do erro, ou só informa que houve erro?
• O que é medido, com que peso, e falhas de segurança podem ser compensadas por outros critérios?
• Quem definiu os limites de aceitação, e com base em quê?
• Que evidências de validade existem, e quais ainda estão pendentes?

Referências

• Hamstra SJ, Brydges R, Hatala R, Zendejas B, Cook DA. Reconsidering fidelity in simulation-based training. Academic Medicine, 2014;89(3):387-392.
• Norman G, Dore K, Grierson L. The minimal relationship between simulation fidelity and transfer of learning. Medical Education, 2012;46(7):636-647.
• Issenberg SB, McGaghie WC, Petrusa ER, Gordon DL, Scalese RJ. Features and uses of high-fidelity medical simulations that lead to effective learning: a BEME systematic review. Medical Teacher, 2005;27(1):10-28.
• Cook DA et al. Technology-enhanced simulation for health professions education: a systematic review and meta-analysis. JAMA, 2011;306(9):978-988.
• Cook DA, Hatala R. Validation of educational assessments: a primer for simulation and beyond. Advances in Simulation, 2016;1:31.
• Haladyna T, Hess R. An evaluation of conjunctive and compensatory standard-setting strategies for test decisions. Educational Assessment, 1999;6(2).