TL;DR
Das Wesentliche: Google hat KI-Übersichten für bestimmte medizinische Anfragen manuell entfernt, nachdem eine Untersuchung ergab, dass das System lebensbedrohliche Gesundheitsratschläge bereitstellte. Wichtige Details: Die Intervention zielt auf Leber-und Krebssuchen ab, während die Konkurrenten Anthropic und OpenAI gleichzeitig neue HIPAA-konforme Gesundheitsplattformen einführen. Warum es wichtig ist: Dieser Rückzug widerspricht den Zuverlässigkeitsansprüchen von Google und deckt eine Sicherheitslücke auf, während der KI-Markt im Gesundheitswesen immer schneller wird. Kontext: Regulierungsbehörden warnen vor der Geschwindigkeit der KI-Einführung, da der Sektor bis 2026 voraussichtlich 45,2 Milliarden US-Dollar erreichen wird.
Unter Berufung auf unmittelbare Sicherheitsrisiken hat Google KI-Übersichten für bestimmte medizinische Anfragen manuell deaktiviert, nachdem eine Untersuchung ergab, dass das System lebensbedrohliche Ratschläge liefert. Der Rückzug zielt auf Suchbegriffe zu Leberfunktion und Krebs ab, bei denen die KI Protokolle vorschlug, die sich als tödlich erweisen könnten.
Während Google Funktionen zurückzieht, erweitern Konkurrenten ihre Präsenz im Gesundheitswesen. Anthropic hat gestern nach dem Debüt von ChatGPT Health durch OpenAI eine Plattform gestartet, die dem Health Insurance Portability and Accountability Act (HIPAA) entspricht und einen Kontrast zwischen den Sicherheitsproblemen von Google und der Expansion der Branche im Gesundheitswesen schafft.
The Retreat: Gefährliche Ratschläge und manuelle Eingriffe
Google bestätigte die Entfernung spezifischer medizinischer Abfragen zu Leberfunktionstests und Krebssymptomen aus seinen AI-Übersichtsergebnissen. Diese Aktion folgt einer Untersuchung von The Guardian, die das System aufgedeckt hat, das medizinische Halluzinationen mit potenziell tödlichen Folgen erzeugt.
Benutzer, die nach der Behandlung von Bauchspeicheldrüsenkrebs suchten, erhielten Ernährungsempfehlungen, die den medizinischen Standardprotokollen direkt widersprachen. In einem von Experten als „wirklich gefährlich“ eingestuften Fall riet die KI den Patienten, fettreiche Lebensmittel zu meiden.
Promo
Diese Anleitung ist das genaue Gegenteil der kalorienreichen Aufnahme, die häufig zur Gewichtserhaltung während der Behandlung erforderlich ist. Mediziner warnten davor, dass die Einhaltung einer solch restriktiven Diät die Gesundheit eines Patienten ernsthaft beeinträchtigen und möglicherweise das Sterblichkeitsrisiko aufgrund der Krankheit erhöhen könnte.
Die Untersuchung deckte auch alarmierende Ungenauigkeiten bei Leberfunktionstests auf. Das System lieferte fehlerhafte Benchmarks, die Personen mit schwerer Lebererkrankung zu der Annahme verleiten könnten, dass ihre Testergebnisse normal seien. Diese falsche Zusicherung birgt die Gefahr, dass kritische medizinische Eingriffe bei Patienten verzögert werden, die aufgrund der Einschätzung der KI fälschlicherweise glauben, dass sie gesund sind.
Die Empfehlung eines fettreichen Verzehrs stellt eine direkte Bedrohung für Patienten mit beeinträchtigtem Verdauungssystem dar. Medizinische Experten warnten davor, dass die Befolgung solcher Leitlinien zu einer Mangelernährung führen könnte, die schwerwiegend genug ist, um Patienten von einer Chemotherapie oder Operation auszuschließen.
Abgesehen von Ernährungsfehlern konnte das System nicht zwischen Diagnoseinstrumenten für verschiedene Erkrankungen unterscheiden. Bei Anfragen zu Vaginalkrebssymptomen wurde fälschlicherweise auf Pap-Tests als primäre Diagnosemethode hingewiesen.
Athena Lamnisos, Geschäftsführerin von Eve Appeal, kritisierte die medizinische Gültigkeit der Ergebnisse: „Es handelt sich nicht um einen Test zur Erkennung von Krebs und schon gar nicht um einen Test zur Erkennung von Vaginalkrebs – das sind völlig falsche Informationen.“
Trotz dieser spezifischen Fehler bleibt das Unternehmen dabei, dass das umfassendere System wirksam bleibt. Google-Sprecher Davis Thompson verteidigte die Gesamtleistungsbilanz der Technologie: „Wir investieren erheblich in die Qualität von KI-Übersichten, insbesondere für Themen wie Gesundheit, und die überwiegende Mehrheit liefert genaue Informationen.“
Der Rückgriff auf interne Validierungsprozesse soll Fehler erkennen, bevor sie an die Öffentlichkeit gelangen. Thompson skizzierte die internen Verifizierungsprotokolle des Unternehmens: „Unser internes Ärzteteam überprüfte, was mit uns geteilt wurde, und stellte fest, dass die Informationen in vielen Fällen nicht ungenau waren und auch von hochwertigen Websites unterstützt wurden.“
Die Zuverlässigkeitslücke: Marketing vs. medizinische Realität
Das manuelle Entfernen von Funktionen widerspricht Googles öffentlichem Anspruch, eine „gesunde“ und „zuverlässige“ Plattform zu sein.
Akademische Forschung unterstützt die Beobachtung, dass KI-Suchtools häufig von etablierten Informationshierarchien abweichen. Eine Studie zur Unzuverlässigkeit der KI-Suche ergab, dass 53 % der durch KI-Übersichten verlinkten Websites nicht in den Top 10 der organischen Suchergebnisse erscheinen.
Die gleiche Untersuchung ergab, dass die KI-Antworten von Google über einen Zeitraum von zwei Monaten nur eine Konsistenzrate von 18 % aufwiesen.
Patientenvertretungen reagierten alarmiert auf die spezifischen medizinischen Fehler, die in der jüngsten Untersuchung festgestellt wurden. Anna Jewell von Pancreatic Cancer UK verwies auf die Risiken der Fehlinformationen zur Ernährung: „Die KI-Antwort von Google deutet darauf hin, dass Menschen mit Bauchspeicheldrüsenkrebs fettreiche Lebensmittel meiden … Wenn sich jemand jedoch an das Suchergebnis hält, trifft dies möglicherweise nicht zu Nehmen Sie genügend Kalorien zu sich, haben Sie Schwierigkeiten, an Gewicht zuzunehmen, und können weder eine Chemotherapie noch eine möglicherweise lebensrettende Operation vertragen.“
Diskrepanzen zwischen algorithmischer Sicherheit und medizinischer Genauigkeit haben eher zu Forderungen nach Veränderungen als nach schrittweisen Lösungen geführt.
The British Liver Trust stellte die Wirksamkeit der Schadensbegrenzungsstrategie des Unternehmens in Frage: „Unsere größere Sorge bei all dem ist, dass es ein einzelnes Suchergebnis nicht auswählt und Google die KI-Übersichten dafür einfach abschalten kann, aber das größere Problem der KI-Übersichten für die Gesundheit wird dadurch nicht angegangen.“
Der Konkurrenzkampf: Rivalen kommen voran, während Google stolpert
Während Google sich von bestimmten medizinischen Maßnahmen zurückzieht Aufgrund der zunehmenden Nachfrage bauen Wettbewerber ihre Präsenz im Gesundheitswesen aus. Anthropic startete am 12. Januar die Einführung von Claude for Healthcare, einer HIPAA-fähigen Plattform für Unternehmensinfrastrukturen.
Mit einer Genauigkeitsrate von 94 % beim MedQA-Benchmark positioniert sich das neue Claude-Modell als Werkzeug für medizinisches Fachpersonal. Die Plattform von Anthropic lässt sich direkt in die CMS Coverage Database, ICD-10-Codes und das NPI-Register integrieren.
Die Konzentration auf die Unternehmensinfrastruktur steht im Gegensatz zur verbraucherorientierten Strategie anderer Marktführer. OpenAI startete am 7. Januar das Debüt von ChatGPT Health und verzeichnete wöchentlich 230 Millionen gesundheitsbezogene Anfragen.
Prognosen gehen davon aus, dass der KI-Markt im Gesundheitswesen bis 2026 ein Volumen von 45,2 Milliarden US-Dollar erreichen wird, was die Chancen auf eine baldige Dominanz erhöht. Die Aufsichtsbehörden beobachten aufmerksam, wie diese Technologien immer stärker in die Patientenversorgung integriert werden.
FDA-Kommissar Marty Makary ging auf den regulatorischen Ansatz für das Innovationstempo ein und erklärte: „Wir werden diesem Löwen nicht entkommen … Wir müssen diese Produkte fördern und … aufpassen.“ vor großen Sicherheitsbedenken.“
