Frage: Was passiert, wenn die KI ein Fehler macht und der Mensch deswegen stirbt ?

Alexej Knaus Beantwortet am 26 Nov 2024:

**Antwort 5:**

Ich schließe mich den Vorrednern in vielen Punkten an, möchte jedoch einen zusätzlichen Schwerpunkt setzen: die Rolle von **Explainability** (Erklärbarkeit) und **transparenter KI** in sicherheitskritischen Anwendungen wie der Medizin.

Wer sich was dazu anhören möchte findet hier was auf die Ohren:
– Intransparente KI – In den Fängen der Algorithmen: https://www.deutschlandfunk.de/ki-wie-bei-kafka-in-den-faengen-der-algorithmen-dlf-53c6790a-100.html
– KI in der modernen Medizin – Arzt oder Automat (Hörsaal – Deutschlandfunk Nova): https://www.ardaudiothek.de/episode/hoersaal-deutschlandfunk-nova/ki-in-der-modernen-medizin-arzt-oder-automat/deutschlandfunk-nova/13770917/

Die sogenannte „eXplainable Artificial Intelligence“ (XAI) ist ein Forschungsgebiet, das sich darauf konzentriert, maschinelle Lernmodelle verständlicher und interpretierbarer zu machen. Ziel ist es, dass Expert:innen – beispielsweise Ärzt:innen – die Entscheidungen und Vorschläge einer KI nicht nur nachvollziehen können, sondern auch in der Lage sind, diese kritisch zu hinterfragen und gegebenenfalls zu korrigieren.

Eine der zentralen Herausforderungen hierbei ist, dass viele der leistungsstärksten KI-Modelle, insbesondere Deep-Learning-Modelle, wie „Black Boxes“ agieren: Sie liefern Ergebnisse, ohne dass ihre Entscheidungswege leicht nachvollziehbar sind. Das kann in sicherheitskritischen Bereichen wie der Medizin problematisch sein, da es schwierig wird, potenzielle Fehlerquellen zu identifizieren. Forschungsergebnisse zeigen, dass transparente KI-Modelle Ärzt:innen nicht nur besser unterstützen, sondern auch das Vertrauen in die Technologie stärken können (Rudin, 2019).

**Warum ist Erklärbarkeit entscheidend?**
1. **Bessere Entscheidungsfindung:** Ärzt:innen können mithilfe erklärbarer KI verstehen, warum eine bestimmte Diagnose oder Therapie empfohlen wurde, und diese Empfehlung in ihren klinischen Kontext einordnen. Studien zeigen, dass dies die Qualität von Entscheidungen deutlich verbessern kann (Doshi-Velez & Kim, 2017).
2. **Verantwortung und Haftung:** Erklärbarkeit hilft, die Verantwortlichkeiten klar zu trennen. Wenn ein Arzt eine KI-Empfehlung ablehnt, weil er Schwächen oder Unsicherheiten im Vorschlag erkennt, zeigt dies die Stärke eines Mensch-Maschine-Teams. Gleichzeitig minimiert es das Risiko, dass Entscheidungen „blind“ der KI überlassen werden.
3. **Schulung und Training:** Erklärbare Systeme können auch genutzt werden, um Ärzt:innen im Umgang mit komplexen Technologien besser zu schulen. Wenn Ärzt:innen die Limitierungen und Schwächen eines Modells verstehen, können sie informierte Entscheidungen treffen, selbst wenn die KI fehlerhaft arbeitet.

**Die Zukunft der Medizin mit XAI**
In der Praxis sehen wir bereits Ansätze zur Integration von XAI in die Medizin. So gibt es beispielsweise Algorithmen, die neben ihrer Diagnose auch die wichtigsten Parameter oder Merkmale nennen, die zu dieser Entscheidung geführt haben (z. B. „Dieses Ergebnis basiert auf der auffälligen Gewebestruktur im Bereich XY“). Dies ermöglicht es Ärzt:innen, die Diagnosen zu überprüfen, bevor sie Entscheidungen treffen.

Ein Beispiel aus der Praxis sind KI-Modelle, die in der Radiologie eingesetzt werden, um Tumore in MRT- oder CT-Bildern zu erkennen. Solche Modelle sind zunehmend mit Heatmaps ausgestattet, die visuell darstellen, welche Bildbereiche für die Entscheidung des Modells relevant waren. Das erhöht nicht nur die Transparenz, sondern auch die Sicherheit, da die Ergebnisse nachvollziehbar sind (Selvaraju et al., 2017).

**Fazit**
Die Forschung und Entwicklung von KI im medizinischen Bereich muss sich nicht nur auf die Genauigkeit und Leistung der Systeme konzentrieren, sondern auch auf deren Erklärbarkeit. Nur so kann sichergestellt werden, dass Ärzt:innen und andere Fachkräfte die Technologie als sinnvolle Unterstützung betrachten und nicht als unverständliches Werkzeug.

**Quellen:**
– Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. *Nature Machine Intelligence, 1*(5), 206–215.
– Doshi-Velez, F., & Kim, B. (2017). Towards a rigorous science of interpretable machine learning. *arXiv preprint arXiv:1702.08608.*
– Selvaraju, R. R., et al. (2017). Grad-CAM: Visual explanations from deep networks via gradient-based localization. *Proceedings of the IEEE International Conference on Computer Vision (ICCV)*.

PS.: Diese Antwort wurde mit Hilfe von KI verfasst ;D