Frage: Wer trägt die Verantwortung bei Fehlern einer KI basierten Diagnose oder Therapieentscheidung zur Behandlung, der Arzt, der Entwickler oder das System?

Tom Rix Beantwortet am 26 Nov 2024:

Das ist eine schwierige Frage. Ich stimme Lucas und Stefanie grundsätzlich zu.

Bisher wird künstliche Intelligenz meist nur als zusätzliches Assistenzsystem eingesetzt, was die Ärztin oder den Arzt unterstützen soll. Die Diagnose wird meines Wissens also immer noch von einem Menschen gestellt unter Zuhilfenahme einer KI. Somit wäre es hauptsächlich die Verantwortung des Arztes oder der Ärztin, wenn sie eine falsche Diagnose stellen, weil sie sich irrtümlicherweise auf die KI verlassen haben.

Allerdings lässt sich Verantwortung nicht nur im rechtlichen Sinne, sondern auch im moralischen oder ethischen Sinne interpretieren. Wenn man diese Ebene betrachtet, haben alle involvierten Personen eine Mitverantwortung für ihren Teilbereich. Die Entwickler müssen sicherstellen, dass die KI genau das tut, was sie tun soll. Dies wird durch Tests streng überprüft. Genau wie medizinische Geräte muss Software auch für die Klinik zugelassen werden. So kommt den Entwickler:innen und den Prüfer:innen auch eine Verantwortung zu.

Wenn man diese Frage gesamtgesellschaftlich betrachtet, dann könnte man vielleicht sogar behaupten, dass den Klinikmanager:innen, Krankenversicherungen oder Gesundheitspolitiker:innen eine große Verantwortung zukommt. Diese entscheiden nämlich letztendlich, ob KI eingesetzt werden soll und womöglich irgendwann die Menschen ersetzen soll, weil es zum Beispiel günstiger ist.

Ehrlicherweise ist die Frage nach Verantwortung aber auch ein first world problem. In vielen Ländern dieser Welt gibt es keine so gute medizinische Versorgung wie in Deutschland. Viele Menschen wären froh, wenn sie überhaupt eine Diagnose bekommen könnten, die auch noch bezahlbar und schnell ist. In Entwicklungsländern hätte KI also das größte Verbesserungspotential und Leute würden auch ein KI System mit fehlern eher akzeptieren, bevor sie gar keine Diagnose bekämen.

Die Frage lässt sich auch auf einer philosophischen Ebene betrachten: „Menschen machen Fehler.“ oder „Irren ist menschlich“, das haben wir als Gesellschaft also ein Stück weit akzeptiert, dass Menschen nicht perfekt sind und auch nicht perfekt sein müssen. Die Ärztin oder der Arzt sind auch mal müde, haben einen schlechten Tag und übersehen Details, die für eine Diagnose relevant sind. Andererseits erwarten wir von Maschinen, dass sie perfekt und fehlerfrei sind. Aber wäre es nicht schon ein Fortschritt, wenn Maschinen weniger Fehler machen als wir Menschen? Sollten wir den Maschinen nicht auch „erlauben“, Fehler zu machen – und sich gegebenenfalls zu korrigieren? Wenn man nachweisen kann, dass eine KI so gut funktioniert, dass sie weniger Fehler als ein Mensch macht, dann könnte man sogar die in meinen Augen berechtigte Frage stellen, ob es verantwortungslos sei, wenn man die KI nicht zur Diagnose einsetzen würde.

Also, wir ihr seht, ist das eine sehr komplexe Frage. Deshalb beschäftigen sich zum Beispiel auch die Ärztekammern mit dieser Frage [1]. Ebenso kann ich die Stellungnahme des Deutschen Ethikrates als Lektüre empfehlen [2].

[1] https://www.aekno.de/aerzte/rheinisches-aerzteblatt/ausgabe/artikel/2024/mai-2024/ki-in-der-medizin-aerztliche-letztverantwortung-bleibt-bestehen
[2] https://www.ethikrat.org/presse/mitteilungen/ethikrat-kuenstliche-intelligenz-darf-menschliche-entfaltung-nicht-vermindern/