Der Blätterkatalog benötigt Javascript.
Bitte aktivieren Sie Javascript in Ihren Browser-Einstellungen.
The Blätterkatalog requires Javascript.
Please activate Javascript in your browser settings.
10 EmbEddEd HalblEitEr Elektronik medical ist für die medizinische Entscheidungs unterstützung unbrauchbar Dann liegt das Problem in der Herkunft der Daten? Nicht sehr spezifisch trainierte KIModelle fassen im Grunde genommen Informatio nen aus dem Internet zusammen die in kleine Teile zerlegt und neu zusammenge setzt werden Da im Internet viele Falsch informationen kursieren finden sich diese zwangsläufig auch in den Antworten der KIAgenten wieder Während früher eine klare Trennung zwischen seriösen medi zinischen Informationen und Fehlinfor mationen möglich war wächst heute die Grauzone von teilweise korrekten aber nicht vollständig richtigen Informationen Erst kürzlich haben niederländische und belgische Forscher gezeigt wie einfach es ist mit KI täuschend echt klingende medi zinische Falschinformationen zu erstellen Das Problem verschärft sich dadurch dass ChatGPT diese künstlich erzeugten Szenarien nahtlos in echte medizinische Anfragen einweben kann Anders als bei traditionellen medizinischen Lehrbüchern wo Fehler zwar vorkamen aber durch Fach leute kuratiert wurden können KISysteme – wie der selbstbewusste Teenager – völlig fiktive medizinische Sachverhalte präsen tieren die für Medizinstudierende oder sogar Fachpersonal schwer als Falsch information zu erkennen sind Besorgniserregend ist dass bei Tests mit fiktiven medizinischen Szenarien – also z Berfundenen anatomischen Strukturen oder nichtexistierenden menschlichen Drü sen – selbst LLMbasierte Agenten für die klinische Entscheidungsunterstützung ver sagt haben die in den USA bereits auf dem Markt sind Genau wie ChatGPT haben sie die falschen Informationen nicht erkannt sondern in ihre Empfehlung integriert Wie die EU wo derartige Systeme MDRKlasse IIa oder höher benötigen hat zwar hat auch die FDA Richtlinien entwickelt aber einige Anbieter wie Glass Health bewegen sich geschickt in der regulatorischen Grauzone des »21st Century Cures Act« – obwohl ihre Modelle nicht zwischen echten und erfun denen medizinischen Informationen unter scheiden können Eine solche Situation ist aus medizinischer Sicht völlig inakzeptabel Dabei sollten speziell für die Medizin entwickelte KI-Modelle doch die Risiken senken Ja und nein Eine aktuelle Analyse des me dizinischen Sprachmodells MedPalm2 zeigt dass das GoogleModell zwar weniger von typischen Verzerrungen durch Daten aus dem freien Internet oder Social Media be troffen ist es weist aber andere problema tische Muster auf So spiegelt die für das KITraining herangezogene medizinische Fachliteratur historisch gewachsene Un gleichgewichte wider Besonders auffällig ist die Dominanz männlicher Perspektiven welche zu einer verzerrten Darstellung ge schlechterspezifischer medizinischer As pekte führt Hier kommt die Regulatorik ins Spiel Mit Blick auf den »AI Act« der Europäi schen Union der in etwa drei Jahren für medizinische KISysteme verbindlich sein wird müssen Entwickler diese Verzer rungen aktiv angehen Die medizinische DeepLearningCommunity muss neue Werkzeuge und Methoden entwickeln die solche Verzerrungen erkennen und ausgleichen können Nur KISysteme die nachweislich frei von diskriminierenden Mustern sind werden eine Zulassung für den europäischen Markt erhalten Was müssen Medizintechnikfirmen bei der Entwicklung eigener KI-Tools beachten? Die genannten Risiken wie falsche Antwor ten ein Bias oder Halluzinationen einfach hinzunehmen ist in der Medizin nicht ak zeptabel Doch dazu kommt noch das Pro blem der Kontrolle KITechnologie ist von Haus aus nichtdeterministischer Natur Das bedeutet stellt man die gleiche Frage mehrmals erhält man unterschiedliche Antworten Doch ein Medizingerät muss mehrfach und verlässlich dieselbe Antwort ausspucken Für MedtechUnternehmen ergeben sich daraus klare Konsequenzen Aktuelle Untersuchungen des Berliner Me dicalAIStartUps Ada Health zeigen dass geschlossene KITools wie OpenAI oder MedPalm2 Anm d Red für professionelle MedizinApplikationen meist ungeeignet sind da die Entscheidungsprozesse nicht nachvollziehbar sind Mit ihren geschlossenen Modellen gelten sie für Unternehmen als Software unbekannter Herkunft Firmen haben kei nen Einfluss auf das sich ständig ändernde Grundmodell Doch Unternehmen müssen die Eigenschaften ihrer KITools nicht nur gründlich kennen und testen sondern auch kontinuierlich überwachen und nachwei sen Für eine medizinische KIgestützte Entscheidung und eine Zulassung des je weiligen Tools braucht eine MedtechFirma unbedingte Kontrolle über ihr Kernmodell Vielversprechend sind aus dieser Per spektive OpenSourceModelle weil sie mehr Kontrolle und Transparenz ermögli chen Dies ist besonders wichtig um die Kernprobleme wie Voreingenommenheit und Fehleranfälligkeit in den Griff zu bekommen – und eben nachvollziehbare Antworten zu erhalten Aus regulatorischer Sicht müssen wir die Eigenschaften und das Verhalten der KI genau kennen und über wachen können Das nichtdeterministische Verhalten die fehlende Kontrolle und die kontinuierliche Weiterentwicklung erschwe ren die Qualitätssicherung erheblich Wie kann dann Medizin-KI mit diesen Herausforderungen zuverlässig getestet werden? Große Sprachmodelle in der Medizin erfordern einen klar definierten Rahmen für ihren sicheren Einsatz Entwickler müssen ihre Modelle gezielt auf den spezifischen medizinischen Anwendungsfall optimieren und eingrenzen Die besondere Herausforderung liegt in der Nachverfolgbarkeit Wenn es zu Be schwerden oder Problemen kommt muss eine gründliche Ursachenanalyse möglich sein Das bedeutet es muss die genaue Ver sion des Modells reproduzierbar sein die zum Zeitpunkt des Vorfalls im Einsatz war Bei geschlossenen Systemen wie ChatGPT ist das unmöglich – die Unternehmen stel len alte Versionen nicht zur Verfügung und haben auch keine vertragliche Verpflich tung dazu OpenSourceModelle dagegen archivieren frühere Versionen bei Bedarf EKFZ FüR DIgITalE gEsunDHEIT Das Else Kröner Fresenius Zentrum EKFZ für Digitale Gesundheit an der Technischen Universität Dresden und dem Universitätsklinikum Carl Gustav Carus Dresden wurde im September 2019 gegründet Es wird mit einer Fördersumme von 40 Millionen Euro für eine Laufzeit von zehn Jahren von der Else KrönerFreseniusStiftung ge fördert Das Zentrum konzentriert seine Forschungsaktivitäten auf innovative medizinische und digitale Technologien an der direkten Schnittstelle zu den Patientinnen und Patienten Das Ziel ist das Potenzial der Digitalisierung in der Medizin voll auszuschöpfen um die Gesundheitsversorgung die medizini sche Forschung und die klinische Praxis deutlich und nachhaltig zu verbessern