Eine Heatmap einer medizinischen KI kann wie eine Erklärung aussehen und dabei vor allem auf die Stellen hinweisen, an denen Erkrankungen üblicherweise auftreten. Eine Überprüfung von vier Systemen zur Analyse von Röntgenaufnahmen des Brustkorbs ergab, dass ihre Aufmerksamkeitskarten oft nicht besser abschnitten als einfache Vorlagen auf Basis durchschnittlicher anatomischer Muster.
Was die Überprüfung gemessen hat
Forschende am International Institute of Information Technology Hyderabad verglichen Heatmaps von MAIRA-2, MedGemma-4B, LLaVA-Med-1.5 und LLaVA-1.5 mit den Annotationen von Radiologinnen und Radiologen. Die Auswertung umfasste drei öffentliche Datensätze sowie eine zusätzliche Gruppe von Fällen mit Pneumothorax.
Der Vergleich konzentrierte sich auf die Lokalisierung: also darauf, ob die von einem Modell markierten Bereiche mit den von Radiologinnen und Radiologen identifizierten Regionen übereinstimmten. Ob die Diagnose eines Modells korrekt war, ließ sich daraus nicht ableiten.
Die Rangfolge: MAIRA-2 lag im automatisierten Vergleich vorn, gefolgt von MedGemma. Die beiden LLaVA-Modelle folgten dahinter.
Das Problem mit dem Durchschnittsfall
Bei typischen Fällen waren die Aufmerksamkeitskarten der Modelle nicht genauer als einfache anatomische Vorlagen, die aus gemittelten Daten erstellt wurden. Das deutet darauf hin, dass ein System eine Region möglicherweise deshalb markiert, weil dort häufig krankhafte Veränderungen auftreten, und nicht, weil es den Befund auf genau diesem Röntgenbild lokalisiert hat.
Dieser Unterschied ist wichtig. Eine Heatmap kann spezifisch wirken und zugleich ein allgemeines Muster widerspiegeln, wo Erkrankungen tendenziell auftreten. Visuelle Präzision ist, wie sich zeigt, nicht dasselbe wie bildspezifische Evidenz.
Atypische Fälle: MAIRA-2 und MedGemma zeigten eine stärker auf dem tatsächlichen Bild beruhende Lokalisierung, wenn ein Befund deutlich vom durchschnittlichen Muster abwich. Die Überprüfung weist daher auf eine Schwäche hin, die in Routinefällen besonders leicht übersehen wird, weil häufige Muster eine generische Karte plausibel erscheinen lassen können.
Warum die menschliche Beurteilung die Bewertung verändert
Ein paralleles Experiment mit Radiologinnen und Radiologen und 124 Fällen ergab, dass Fachleute Heatmaps nicht auf dieselbe Weise bewerteten wie die automatisierte Metrik. Eine Karte, die einen größeren Bereich abdeckte und klinisch sinnvoll war, konnte auf eine Radiologin oder einen Radiologen überzeugender wirken als eine exakte Übereinstimmung mit den statistischen Grenzen der Metrik.
Dadurch wird jedoch keine der beiden Bewertungsarten für sich allein ausreichend. Eine numerische Bewertung bietet Konsistenz, kann aber Aspekte der klinischen Plausibilität übersehen. Eine menschliche Beurteilung kann Kontext ergänzen, doch die Überprüfung betrachtet das Urteil von Fachleuten nicht als Ersatz für die Messung.
Die Forschenden empfehlen, Bewertungsmethoden einzusetzen, die anatomische Erwartungsmuster berücksichtigen, und Radiologinnen und Radiologen in die Prüfung einzubeziehen. Bei medizinischer KI ist eine farbige Überlagerung kein Beweis dafür, dass ein Modell das Richtige gefunden hat. Sie ist eine Behauptung, die weiterhin überprüft werden muss.