TL;DR
A essência: o Google removeu manualmente as visões gerais de IA para consultas médicas específicas depois que uma investigação revelou que o sistema fornecia conselhos de saúde com risco de vida. Detalhes principais: A intervenção visa pesquisas de fígado e câncer, enquanto os concorrentes Anthropic e OpenAI lançam simultaneamente novas plataformas de saúde em conformidade com HIPAA. Por que é importante: Este recuo contradiz as alegações de fiabilidade da Google e expõe uma lacuna de segurança num momento em que o mercado de IA na saúde acelera. Contexto: Os reguladores estão alertando sobre a velocidade da adoção da IA, já que a previsão é que o setor atinja US$ 45,2 bilhões até 2026.
Citando riscos imediatos de segurança, o Google desativou manualmente as visões gerais da IA para consultas médicas específicas depois que uma investigação descobriu que o sistema fornecia conselhos potencialmente fatais. O retiro tem como alvo termos de pesquisa relacionados à função hepática e câncer, onde a IA sugeriu protocolos que podem ser fatais.
Enquanto o Google retira recursos, os concorrentes estão expandindo sua presença na área de saúde. A Anthropic lançou ontem uma plataforma em conformidade com a Lei de Portabilidade e Responsabilidade de Seguros de Saúde (HIPAA), após a estreia do ChatGPT Health pela OpenAI, criando um contraste entre as lutas de segurança do Google e a expansão da saúde do setor.
O retiro: conselhos perigosos e intervenção manual
O Google confirmou a remoção de consultas médicas específicas sobre testes de função hepática e sintomas de câncer dos resultados da visão geral da IA. Esta ação segue uma investigação do The Guardian que expôs o sistema gerando alucinações médicas com consequências potencialmente fatais.
Os usuários que buscavam o tratamento do câncer de pâncreas receberam recomendações dietéticas que contradiziam diretamente os protocolos médicos padrão. Num caso caracterizado pelos especialistas como “realmente perigoso”, a IA aconselhou os pacientes a evitar alimentos ricos em gordura.
Promo
Esta orientação é exatamente o oposto da ingestão de alto teor calórico frequentemente necessária para manter o peso durante o tratamento. Os profissionais médicos alertaram que a adesão a uma dieta tão restritiva poderia comprometer gravemente a saúde do paciente, aumentando potencialmente o risco de mortalidade pela doença.
A investigação também revelou imprecisões alarmantes em relação aos testes de função hepática. O sistema forneceu parâmetros de referência errados que poderiam induzir em erro indivíduos com doença hepática grave, fazendo-os acreditar que os resultados dos seus testes eram normais. Esta falsa garantia corre o risco de atrasar a intervenção médica crítica para pacientes que acreditam erroneamente que são saudáveis com base na avaliação da IA.
A recomendação do consumo elevado de gordura representa uma ameaça direta aos pacientes com sistemas digestivos comprometidos. Especialistas médicos alertaram que seguir essas orientações poderia resultar em desnutrição grave o suficiente para desqualificar os pacientes para quimioterapia ou cirurgia.
Além dos erros dietéticos, o sistema não conseguiu distinguir entre ferramentas de diagnóstico para diferentes condições. Perguntas sobre sintomas de câncer vaginal sugeriram incorretamente testes de Papanicolau como método de diagnóstico primário.
Athena Lamnisos, Diretora Executiva da Eve Appeal, criticou a validade médica dos resultados: “Não é um teste para detectar câncer, e certamente não é um teste para detectar câncer vaginal – esta é uma informação completamente errada.”
Apesar dessas falhas específicas, a empresa afirma que o sistema mais amplo permanece eficaz. O porta-voz do Google, Davis Thompson, defendeu o histórico geral de desempenho da tecnologia: “Investimos significativamente na qualidade das visões gerais de IA, especialmente para tópicos como saúde, e a grande maioria fornece informações precisas.”
Contar com processos de validação internos tem como objetivo detectar erros antes que eles cheguem ao público. Thompson descreveu os protocolos de verificação internos da empresa: “Nossa equipe interna de médicos revisou o que foi compartilhado conosco e descobriu que, em muitos casos, as informações não eram imprecisas e também eram apoiadas por sites de alta qualidade.”
A lacuna de confiabilidade: marketing versus realidade médica
A remoção manual de recursos contradiz a ambição pública do Google de ser uma plataforma”saudável”e”confiável”.
A investigação académica apoia a observação de que as ferramentas de pesquisa de IA muitas vezes divergem das hierarquias de informação estabelecidas. Um estudo sobre a falta de confiabilidade da pesquisa de IA descobriu que 53% dos sites vinculados pelas visões gerais de IA não aparecem nos 10 principais resultados de pesquisa orgânica.
A mesma pesquisa indicou que as respostas de IA do Google mantiveram apenas uma taxa de consistência de 18% durante um período de dois meses.
Os grupos de defesa dos pacientes reagiram com alarme aos erros médicos específicos encontrados na investigação recente. Anna Jewell, do Pancreatic Cancer UK, destacou os riscos da desinformação alimentar: “A resposta da IA do Google sugere que as pessoas com câncer de pâncreas evitem alimentos ricos em gordura… No entanto, se alguém seguisse o que o resultado da pesquisa lhes dizia, talvez não ingerisse calorias suficientes, luta para ganhar peso e não consegue tolerar quimioterapia ou cirurgia que pode salvar vidas.”
As desconexões entre a confiança algorítmica e a precisão médica levaram a apelos por mudanças em vez de soluções graduais.
O British Liver Trust questionou o eficácia da estratégia de mitigação da empresa: “Nossa maior preocupação com tudo isso é que estamos escolhendo minuciosamente um único resultado de pesquisa e o Google pode simplesmente desligar as visões gerais de IA para isso, mas não está abordando o problema maior das visões gerais de IA para a saúde.”A Anthropic lançou o Claude for Healthcare em 12 de janeiro, uma plataforma pronta para HIPAA voltada para infraestrutura empresarial.
Reportando uma taxa de precisão de 94% no benchmark MedQA, o novo modelo Claude se posiciona como uma ferramenta para profissionais médicos. A plataforma da Anthropic se integra diretamente ao banco de dados de cobertura CMS, aos códigos CID-10 e ao Registro NPI.
O foco na infraestrutura corporativa contrasta com a estratégia voltada ao consumidor de outros líderes de mercado. A OpenAI estreou o ChatGPT Health em 7 de janeiro, com 230 milhões de consultas semanais relacionadas à saúde.
As previsões projetam que o mercado de IA em saúde atingirá US$ 45,2 bilhões até 2026, aumentando as apostas para um domínio inicial. Os reguladores estão observando atentamente à medida que essas tecnologias se integram ainda mais ao atendimento ao paciente.
O Comissário da FDA, Marty Makary, abordou a abordagem regulatória ao ritmo da inovação, afirmando: “Não vamos ultrapassar esse leão… Temos que promover esses produtos e… nos proteger contra principais preocupações de segurança.”
