ChatGPT im Krankenhaus: Schatten-KI und die Alternativen

Was ist Schatten-KI und warum ist sie riskant?

KI-Tools wie ChatGPT sind leicht zu bedienen, kostenlos zugänglich und liefern innerhalb von Sekunden verwertbare Ergebnisse. Es überrascht daher nicht, dass Mitarbeitende in Krankenhäusern solche Tools im Arbeitsalltag nutzen – oft ohne Wissen der IT-Abteilung. 

Genau hier beginnt das Problem: Schatten-KI bezeichnet den Einsatz von KI-Anwendungen, die ohne IT-Freigabe, Datenschutzprüfung und vertragliche Grundlage im Unternehmen genutzt werden. Im klinischen Umfeld ist das besonders folgenreich.

Patientendaten in ungesicherten Systemen

Sobald Mitarbeitende Patientendaten in ein allgemeines Sprachmodell eingeben, verlassen diese Daten die gesicherte Infrastruktur des Krankenhauses. Die Konsequenzen sind mehrschichtig:

• DSGVO-Verstoß: Eine Auftragsverarbeitungsvereinbarung fehlt in aller Regel. Die Eingabe von Patientendaten in ChatGPT und Co. ist damit in den meisten Fällen rechtswidrig.
• Keine Datentransparenz: Wie eingegebene Daten gespeichert, verarbeitet oder weiterverwendet werden, bleibt unklar.
• Doppeltes Haftungsrisiko: Verantwortung tragen sowohl die nutzenden Mitarbeitenden als auch die Einrichtung – unabhängig davon, ob die Nutzung bewusst oder aus Unwissenheit erfolgte.

Fehlender medizinischer Kontext

Neben dem Datenschutzproblem gibt es ein zweites, oft unterschätztes Risiko: Allgemeine Sprachmodelle haben keinen Zugriff auf die Patientenakte, das KIS oder die klinische Vorgeschichte. Ihre Antworten basieren daher auf allgemeinem Trainingswissen und nicht auf dem konkreten Fall. Das führt zu Ergebnissen, die medizinisch unpräzise oder unvollständig sein können.

Werden generische Ergebnisse dennoch genutzt oder weiterverarbeitet, entstehen Fehlerquellen, die im klinischen Kontext schwerwiegende Folgen haben können.

Was eine dedizierte Krankenhaus-KI anders macht

Der Bedarf, den eine Schatten-KI deckt, ist real: Mitarbeitende suchen nach Entlastung bei Dokumentation, Zusammenfassungen und administrativen Aufgaben. Die Lösung liegt nicht im Verbot allgemeiner KI-Tools, sondern im Angebot einer besseren Alternative. Eine dedizierte Krankenhaus-KI erfüllt denselben Zweck – mit dem entscheidenden Unterschied, dass sie für den klinischen Einsatz entwickelt, geprüft und zugelassen wurde.

Klinischer Kontext statt generische Antworten

Der Recare Agent greift auf das tatsächliche Patientenprofil zu: Diagnosen, Medikation, Mobilitätseinschränkungen und klinische Vorgeschichte fließen direkt in die Ergebnisse ein. Dokumente entstehen nicht auf Basis von Trainingswissen, sondern auf Basis echter klinischer Daten aus dem KIS. Das macht den Unterschied in der Praxis konkret spürbar:

• Entlassmanagement: Der Sozialdienst erhält Unterstützung bei der Suche nach geeigneten Rehakliniken, der Kommunikation mit Nachversorgern und der Vorbereitung aller Überleitungsdokumente
• Patientenzusammenfassungen stehen strukturiert und fallbezogen bereit – ohne manuelle Aufbereitung
• Klinische Entscheidungsunterstützung: Bei medizinischen Fragen leitet der Agent an das MDR-zertifizierte CDSS Prof. Valmed weiter und liefert Antworten im Kontext der vorhandenen Patientendaten

Eine Schnittstelle statt vieler Tools

Obendrein kämpfen viele Kliniken mit einer fragmentierten Systemlandschaft: Krankenhausinformationssystem (KIS), manuelle Dokumentation, verschiedene Kommunikationskanäle und externe Suchen laufen parallel. 

Der Recare Agent bündelt all diese Prozesse in einem einzigen Interface, das per Chat und Sprache gesteuert werden kann. Sozialdienst, Ärzte und Pflegekräfte arbeiten in derselben Oberfläche – ohne Medienbrüche, Systemwechsel oder lange Einarbeitungszeit.

So arbeitet der Recare Agent im Klinikalltag

Ein Patient wurde an der Hüfte operiert, die Entlassung steht bevor. Der Sozialdienst öffnet den Recare Agent, der das klinische Profil des Patienten bereits kennt. Anhand von Diagnose, Mobilitätseinschränkungen und Pflegebedarf sucht der Agent nach geeigneten Rehakliniken, bewertet deren Eignung und zeigt verfügbare Kapazitäten an. Dokumente für die Überleitung werden vorbereitet und direkt an die aufnehmende Einrichtung versendet – ganz ohne manuelle Zwischenschritte.

Was früher einen erheblichen Zeitaufwand bedeutete, läuft heute in einem einzigen Interface ab:

Fazit: ChatGPT ist kein Ersatz für eine klinische KI-Lösung

Dass Mitarbeitende in Kliniken zu allgemeinen KI-Tools greifen, ist ein klares Zeichen für einen realen, aber ungedeckten Bedarf. Hohe Dokumentationslast, Zeitdruck und fragmentierte Systeme treiben das Personal zu Lösungen, die schnell und zugänglich sind. Das Problem liegt nicht in der Absicht, sondern im Werkzeug: Allgemeine Sprachmodelle wie ChatGPT sind für den klinischen Einsatz weder abgesichert noch auf den klinischen Kontext ausgelegt.

Der Recare Agent adressiert genau diesen Bedarf – mit einer Lösung, die speziell für den Alltag im Krankenhaus entwickelt wurde. Das Tool kennt das Patientenprofil, ist in bestehende KIS-Systeme eingebunden und erfüllt die Datenschutzstandards, die im Gesundheitswesen gelten. Für IT-Abteilungen und Krankenhausmanagement bietet der Recare Agent somit eine zentral verwaltete KI-Lösung, die die unkontrollierte Nutzung nicht freigegebener Tools strukturell ablöst.