Der Blätterkatalog benötigt Javascript.
Bitte aktivieren Sie Javascript in Ihren Browser-Einstellungen.
The Blätterkatalog requires Javascript.
Please activate Javascript in your browser settings.
9 EmbEddEd HalblEitEr Elektronik medical Gefährliche Chatbots Medizin-KI mit großen Sprachmodellen Wie sicher können KI-Agenten in der Medizin sein? »Agentic AI« ist der große KI-Trend 2025 Prof Stephen Gilbert forscht in Dresden zu künstlicher Intelligenz und deren Zulassung für die Medizin Auf großen Sprachmodellen basierende Chatbots aus geschlossenen KI-Systemen hält er für unsichere medizinische Werkzeuge – und zeigt Ansätze und Methoden für mehr Sicherheit Von Ute Häußler Herr Prof Gilbert beginnen wir mit den Chancen Wieso boomen LLMbasierte Chatbots in der Medizin? Als ChatGPT auf den Markt kam konnte die KI medizinische Fragen für die Entwickler bisher Jahre gebraucht hatten aus dem Stegreif beeindruckend gut beantworten Zwar nicht 100 Prozent genau aber eben gut genug Und genau in diesem Potenzial sehe ich die hauptsächliche Chance Was wäre mit nach medizinischen Kriterien entwickelten KI-Modellen möglich? Im Falle von OpenAI haben Benchmarking-Studien weiteres Ausprobieren und jede neue Version von ChatGPT innerhalb weniger Wochen und Monate das medizinische KI-Potential bestätigt Die Partnerschaft von OpenAI und Microsoft und deren medizinische Copiloten zeigen dass die automatisierte Dokumentation eins der größten Potenziale von LLMs in der Medizin ist »Medical Agents« kommen derzeit von allen Seiten auf den Markt – selbst die WHO hat mit »Sarah« bereits eine KI-Krankenschwester veröffentlicht die als Chatbot einfache medizinische Fragen beantwortet Damit kommen wir direkt zu den Risiken Exakt Es ist wichtig sich von Anfang an klarzumachen dass KI-Agenten zwar oft gute Antworten liefern – aber eben auch halluzinieren Das Tool liegt mal richtig mal falsch ab und an ist es auch voreingenommen Doch in der Medizin muss ein Werkzeug verlässlich sein es muss unter unterschiedlichsten Bedingungen gute und richtige Antworten geben Und das ist – in allen Bereichen – das allgemeine Problem von KI Und auch schwierig zu lösen Die Risiken sind den Modellen inhärent Ein Bias kann möglicherweise noch durch gute Daten oder spezielles Training ausgemerzt werden aber Halluzinationen wird die Technologie aufgrund ihres Aufbaus immer haben dessen müssen wir uns bewusst sein Woher kommen die »ausgedachten« Antworten einer künstlichen Intelligenz? Ein großes Problem von großen Sprachmodellen ist die scheinbar grenzenlose Fähigkeit auf alle Fragen eine Antwort zu wissen Frühere Modelle waren deutlich eingeschränkter und prüften genauer nach ob sie die Nutzeranfrage richtig verstanden haben Die heute gängigen Systeme antworten dagegen zunächst auf alles – sie gleichen einem überaus selbstbewussten Teenager der Ihnen eine plausible Antwort gibt die gut formuliert ist sich auf Fakten bezieht und viel Intelligenz aber auch viel Naivität und Selbstüberschätzung in sich birgt Diese plausibel klingende Falschheit Bild jaykoppelm an stock adobe com