fonte: MedScape
O Dr. Stephen Belmustakov, médico, começou recentemente a trabalhar em uma clínica privada e logo percebeu um incômodo. No hospital de Nova York onde atuava, foi capacitado para utilizar a Aidoc, uma ferramenta de inteligência artificial (IA) que auxilia na detecção de alterações em exames radiológicos. Agora, sem esse suporte, enfrentava o desafio de interpretar as imagens por conta própria.
A IA era uma muleta? Não. Uma almofada, talvez. Inicialmente cético, acabou se acostumando a usar a ferramenta. Sua inquietude vinha da ausência dessa camada extra para uma dupla checagem.
Além disso, ferramentas de IA vêm superando os humanos ao apontar áreas potencialmente suspeitas antes que o médico tenha tempo de reagir ao que vê na tela. “Isso pode realmente afetar a forma como você aprende”, disse o Dr. Stephen. “Se uma ferramenta já indicou um achado positivo, sua percepção será influenciada”.
Essa tendência de transferir a responsabilidade para um sistema automatizado é conhecida como viés de automação. Talvez você tenha lido sobre exemplos extremos, como os motoristas que seguiram o GPS e acabaram caindo no mar no Havaí, na Carolina do Sul e na Austrália, ou trágicos, como a mãe que acabou presa em uma estrada remota no Vale da Morte, na Califórnia, onde seu filho de seis anos morreu.
É fácil brincar sobre isso, mas não apenas confiamos no GPS, como também estamos prestes a confiar no carro que dirige sozinho.
Na medicina, cada vez mais a IA ensinará médicos altamente treinados a confiar em máquinas. A dependência excessiva da tecnologia é inevitável? E os erros que podem surgir?
O Dr. Tarun Kapoor, médico, diretor de transformação digital do Virtua Health, um sistema de saúde sem fins lucrativos no sul de Nova Jersey, nos Estados Unidos, reconhece que a adoção da tecnologia ainda é limitada (menos de 4% dos hospitais são considerados “grandes usuários” de IA). No entanto, ele alerta: “O viés da automação se tornará generalizado à medida que as ferramentas evoluem na velocidade da luz”. “É uma discussão que precisa ocorrer agora”.
O que está por vir
Praticamente qualquer pessoa lógica e instruída diria: “A máquina não deve tomar decisões, e eu não permitirei que tome as minhas”.
Contudo, é exatamente disso que se trata o “viés”. Você pode nem perceber o quanto passa a depender da tecnologia.
A conversa sobre viés de automação poderia começar explorando “a maneira como essas ferramentas estão se comunicando com os médicos”, afirmou Jennifer Goldsack, diretora executiva da Digital Medicine Society, uma organização sem fins lucrativos focada em aumentar a confiança em métodos digitais de saúde e sua adoção. “Sabemos, ou ao menos os dados indicam, que a maneira como as informações são apresentadas importa”, complementou.
Por exemplo, uma nova pesquisa sugeriu que a confiança dos médicos na IA pode depender de como um modelo explica suas previsões. Algumas ferramentas exibem pequenos quadros ao redor de possíveis alterações em exames radiológicos. Outras comparam os achados com exames semelhantes ou fornecem explicações por escrito.
Entretanto, há “uma lacuna bem grande” na compreensão dos cientistas sobre como os clínicos respondem a diferentes “métodos para a capacidade de explicação”, disse o autor sênior, Dr. Paul Yi, médico e diretor de Informática Inteligente aplicada ao Diagnóstico por Imagem no St. Jude Children’s Research Hospital, nos EUA.
“Há realmente uma limitação nas pesquisas em relação a como as explicações da IA são apresentadas a radiologistas e outros médicos, e como isso os afeta”, reiterou ele. “E isso ocorre mesmo com as centenas de produtos aprovados pela FDA disponíveis no mercado de IA para radiologia”.
Radiologista, o Dr. Paul se juntou a cientistas da computação da Johns Hopkins University, nos EUA, para estudar como os médicos avaliariam radiografias de tórax com sinalizações de alterações preditas por IA. Algumas previsões estavam incorretas, e as explicações para as previsões variaram entre simples (quadros em torno de problemas potenciais) e mais detalhadas (comparações com casos semelhantes). Os participantes, 220 radiologistas e não radiologistas, podiam aceitar, rejeitar ou alterar as sugestões da IA, além de classificar a utilidade do modelo e seu nível de confiança nele.
“Quando a IA estava errada, os não radiologistas tendiam a classificar a ferramenta como útil, enquanto os radiologistas viam a situação como algo preocupante”, disse o Dr. Paul. “Afinal, você não sabe o que não sabe”.
Independentemente da experiência, os participantes tendiam a concordar com a IA muito mais rapidamente se a explicação fosse simples, em vez de mais detalhada. Porém, essa eficiência pode ser uma “faca de dois gumes” para radiologistas sobrecarregados, de acordo com o Dr. Paul.
“É ótimo se a IA estiver correta. É excelente se estivermos no nosso melhor desempenho”, afirmou ele. “Mas digamos que a IA esteja errada e o radiologista teve uma noite ruim. Ele está meio cansado e pensa: ‘vou clicar em sim e seguir em frente’; é aí que as coisas podem passar despercebidas”.
Por que confiamos em máquinas?
O impulso humano de confiar em máquinas é um tanto misterioso, de acordo com a Dra. Kristin Kostick-Quenet, Ph.D., bioeticista, antropóloga médica e professora assistente no Baylor College of Medicine, nos EUA. Os cientistas ainda tentam entender como os humanos, “com diferentes sistemas tecnológicos, calibraram a confiança”, afirmou ela.
A pesquisa sobre viés de automação começou há cerca de 30 anos e se concentrou em pilotos, levando alguns acadêmicos a concluírem que “a confiança é amplamente contextual”, disse a Dra. Kristin.
Ela depende, em parte, da pessoa que usa a tecnologia e do ambiente em que a tecnologia é usada. O número de pilotos na cabine, seus anos de experiência e o quão responsáveis eles se sentem por seu desempenho podem influenciar o nível de confiança em um sistema automatizado.
Quanto à assistência à saúde, médicos com diferentes especialidades e níveis de experiência frequentemente enfrentam decisões de alto risco sob pressão e em meio a grande incerteza. É um ambiente que praticamente implora por um reforço à decisão. Apenas apertar um Enter para contar com uma ajuda da máquina. “Junte todas essas coisas e é natural que queiramos buscar fontes adicionais de informações válidas”, explicou ela.
O Dr. Stephen pode atestar isso. Ele passou do ceticismo à confiança em uma segunda opinião de IA. Sua experiência demonstra a complexidade de implementar modelos de IA na prática da assistência à saúde. A maioria dos profissionais tem se concentrado nas próprias ferramentas, avaliando sua segurança e imparcialidade, além de sua capacidade de melhorar os métodos existentes. No entanto, descobrir como incorporar a IA em situações do mundo real é “uma conversa igualmente importante”, afirmou o Dr. Tarun.
A Virtua Health tem lutado para evitar o viés de automação entre endoscopistas utilizando uma ferramenta de IA chamada GI Genius. Ela destaca possíveis pólipos durante colonoscopias, e seu algoritmo está se tornando mais rápido na detecção. Porém, isso pode levar um endoscopista a “dar uma pequena ignorada” nos achados do exame, explicou o Dr. Tarun. Então, sua equipe discutiu a possibilidade de deixar a ferramenta com uma configuração mais lenta, para manter os endoscopistas “totalmente atentos”.
Uma ferramenta mais rápida também pode gerar o efeito oposto — um tipo de viés de automação reversa — especialmente se um modelo carecer de evidências sólidas. O Dr. Paul questiona se isso pode sobrecarregar os médicos com dúvidas. “Imagine um cenário em que você pensa: ‘essa IA pode me tornar mais rápido, mas estou hesitante; então, fico mais esgotado do que antes de usá-la'”, exemplificou.
E, então, há a possibilidade de que a IA possa estar errada.
O Dr. Stephen afirmou que a Aidoc “não apontou um número significativo de achados e sinalizou falsos positivos”. Como resultado, os médicos perderam tempo. Ele teria que ligar para o médico assistente e explicar sua discordância com a IA, embora, “no fundo, todos soubessem que o computador estava errado”.
De acordo com uma análise de pesquisadores da Stanford University, processos judiciais envolveram alegações contra médicos que confiaram em previsões incorretas de IA. Os demandantes alegaram que “o médico deveria ter percebido que havia uma razão para não confiar no sistema de IA, ou tomado algum cuidado adicional”, afirmou o coautor Neel Guha, discente de doutorado em direito na Stanford Law School e em ciência da computação em Stanford, ambas nos EUA.
O que esse “cuidado adicional” deveria englobar, no entanto, é uma dúvida remanescente.
Levando em consideração os mecanismos de proteção estabelecidos
À medida que mais pesquisas continuam a elucidar o viés da automação no uso de ferramentas de IA, o Dr. Paul busca soluções. “Como definimos a regulamentação em torno disso e projetamos métodos no laboratório que ajudarão a reduzir esses problemas?”, questionou ele.
Isso pode significar ajustar como um modelo explica seus resultados, ou alterar a forma como a IA é apresentada aos usuários. O estudo dele descreveu a ferramenta de IA como comparável a especialistas da área de conhecimento, que é “como a maioria dos fornecedores vende esses produtos”, afirmou o pesquisador. “Todos afirmaram que sua IA é de nível especializado, mesmo que a evidência seja um pouco controversa.” Isso pode influenciar como os médicos julgam as previsões da ferramenta.
Outras especialidades médicas também podem oferecer ideias para mitigar o viés da automação. O Dr. Paul, por exemplo, compartilha uma experiência pessoal: quando era residente em cirurgia ortopédica na Califórnia, precisou obter uma licença específica para utilizar fluoroscopia. Entretanto, ao mudar de especialidade (para radiologia, em que o “meio de subsistência” é a imagem), não houve tal exigência.
Ele pondera a respeito da necessidade de requisitos semelhantes possivelmente aplicados ao uso de IA para exames de imagens. Radiologistas com um certo nível de treinamento seriam autorizados a usar ferramentas de IA, ao passo que não radiologistas poderiam precisar fazer um exame e obter certas credenciais, por exemplo.
Por fim, à medida que modelos de IA evoluem, surge a questão de quando os humanos devem recuar. Isso também exigirá ajustes tanto no treinamento dos médicos quanto na prática da medicina, de acordo com Jennifer. “A tecnologia é um objeto inanimado. A maneira como os humanos interagem com ela é um problema humano, e não um problema tecnológico.”
