Weizmann-KI rekonstruiert betrachtete Bilder aus fMRI-Scans mit weniger Kalibrierung

Ein am Weizmann Institute of Science entwickeltes KI-System kann Bilder, die Menschen betrachten, aus fMRI-Scans rekonstruieren. Der Fortschritt besteht nicht nur darin, eine Banane als Banane zu erkennen. Es soll Details wie die Struktur des Bildes und die Positionen der Objekte wiederherstellen und dabei von jeder neuen Versuchsperson deutlich weniger Kalibrierungsdaten benötigen.

Das ist ein bedeutsamer Forschungsfortschritt, kein Gedankenlesegerät für Verbraucher. Der Unterschied ist wichtig, besonders da Wissenschaftler zu untersuchen beginnen, ob ähnliche Methoden mit EEG funktionieren könnten, das sich leichter erfassen lässt als ein fMRI-Scan und eine unbequemere Reihe von Datenschutzfragen mit sich bringt.

Zwei Modelle, die zusammenarbeiten

Das Forschungsteam unter Leitung der Informatikerin Michal Irani trainierte sein System mit vorhandenen hochauflösenden fMRI-Daten von acht Personen. Jede hatte im Scanner rund 9.000 Bilder betrachtet.

Ein fMRI-Scanner zeichnet keine Gedanken auf und verfolgt auch nicht direkt einzelne Neuronen. Er misst Veränderungen im Fluss sauerstoffreichen Blutes, die Forschende als Hinweis auf Aktivität in verschiedenen Bereichen des Gehirns nutzen. In den vom Team verwendeten Datensätzen deckte jedes gemessene Voxel etwa einen Kubikmillimeter ab. In einem typischen Scanner kann ein Voxel rund drei Kubikmillimeter umfassen. Selbst die kleinere Einheit enthält etwa 16.000 Neuronen, sodass der Scan eine indirekte und vergleichsweise grobe Sicht auf das Geschehen bleibt.

Das neue System hat zwei Teile. Einer schätzt die visuelle Struktur eines Bildes, etwa wo Farben und Formen auftreten. Der andere schätzt seinen Inhalt, etwa das Vorhandensein eines Tellers mit Bananen. Ihre Vorhersagen lenken ein Diffusionsmodell, das ein rekonstruiertes Bild erzeugt.

Frühere Systeme konnten manchmal das allgemeine Objekt erschließen, das eine Person gesehen hatte, es aber anders platzieren oder seine Struktur nicht wiedergeben. Das Ziel hier ist eine genauere Rekonstruktion, nicht bloß ein plausibles Bild derselben Kategorie.

Training jenseits der Scans

fMRI-Daten zu erfassen ist langsam und teuer, was die Zahl der für das Training verfügbaren Bild-und-Scan-Paare begrenzt. Iranis Team begegnete dieser Einschränkung mit einem weiteren Modell, einem Encoder, der vorhersagt, wie der Hirnscan einer Person aussehen würde, nachdem sie ein bestimmtes Bild gesehen hat.

Die Forschenden können ein Bild in den Encoder geben, die vorhergesagte Hirnaktivität als Eingabe für den Bilddecoder verwenden und die entstandene Rekonstruktion mit dem Original vergleichen. Die Wiederholung dieses Vorgangs hilft beim Training beider Modelle. Sie erlaubt dem Team außerdem, Bilder zu nutzen, die einer Person im Scanner nie gezeigt wurden. Etwa 70 Prozent der Trainingsdaten stammten von Bildern, die ursprünglich nicht mit fMRI-Scans gepaart waren.

Das ist eine nützliche Veränderung in der Ökonomie dieser Arbeit. Das System ist nicht auf die Bilder beschränkt, für die Forschende bereits einen passenden Scan besitzen, einen Datensatz, den man nur teuer erweitern kann, indem man Menschen bittet, mehr Zeit im Scanner zu verbringen.

Das Team kombinierte außerdem Daten aus mehreren Studien, um Hirnregionen zu identifizieren, die über die Teilnehmenden hinweg auf ähnliche Kategorien zu reagieren schienen. Einige Regionen schienen beispielsweise auf Bilder von Essen zu reagieren, andere auf Sportbilder. Die Forschenden planen, mit Neurowissenschaftlern zusammenzuarbeiten, um zu untersuchen, was diese Muster über das Gehirn verraten können.

Weniger Einrichtung, unvollkommene Ergebnisse

Für eine neue Versuchsperson benötigt der universelle Hirn-Encoder des Teams etwa eine Stunde fMRI-Daten, um Vorhersagen darüber zu treffen, was diese Person sieht. Frühere Ansätze erforderten für eine neue Person typischerweise rund 40 Stunden. Dieser Unterschied könnte die Methode für neurowissenschaftliche Studien praktikabler machen, in denen Scanzeit teuer ist und eine einzelne Stunde auf 600 bis 1.000 US-Dollar geschätzt wurde.

Die Rekonstruktionen sind nicht durchgängig treffsicher. In Beispielen, die Irani beschrieb, machte das System aus einem Kuchen etwas, das drei Sandwiches ähnelte, und rekonstruierte einen Hund in einer Badewanne als Ziege in einer Badewanne. Die Ergebnisse können einige visuelle Eigenschaften bewahren und dabei das Objekt selbst verfehlen, was daran erinnert, dass eine überzeugend aussehende Rekonstruktion nicht zwangsläufig eine getreue Aufzeichnung der Wahrnehmung ist.

Das Team berichtet, dass seine Methode in einem Vergleichstest deutlich besser abschnitt als andere Systeme, auch wenn der Bericht keine Benchmark-Zahlen nennt. Die Arbeit wurde auf der Konferenz Cognitive Computational Neuroscience in New York vorgestellt.

Anwendungen bleiben möglich, nicht nachgewiesen

Eine erhoffte Anwendung ist die Kommunikation für Menschen im Locked-in-Zustand, das heißt, sie sind bei Bewusstsein, können sich aber nicht bewegen oder sprechen. Wenn sich Hirnaktivität in nützliche Nachrichten übersetzen ließe, könnte die Methode einen neuen Weg zur Kommunikation eröffnen. Das bleibt eine Aussicht, keine Fähigkeit, die durch die hier beschriebene Arbeit zur Bildrekonstruktion nachgewiesen wurde.

Forschende interessieren sich außerdem dafür, ob Methoden zur Dekodierung des Gehirns helfen könnten, PTSD-Flashbacks zu untersuchen oder schließlich Träume zu rekonstruieren. Iranis Team plant, über Standbilder hinaus zu Video und Audio überzugehen. Das aktuelle System rekonstruiert keine Träume, und die Forschenden haben noch nicht gezeigt, dass es die Inhalte vorgestellter Szenen so dekodieren kann, wie es diese künftigen Ziele erfordern würden.

Die Datenschutzfrage wird praktischer

Vorerst hängt der Ansatz von fMRI ab, das verlangt, dass eine Person regungslos in einem großen Scanner liegt. Das macht eine verdeckte Nutzung schwierig. Das System ist außerdem auf Hirndaten angewiesen, und sein Erfolg bei Menschen, die Bilder betrachten, sollte nicht als Beweis dafür missverstanden werden, dass es jeden Gedanken nach Belieben lesen kann.

Die Sorge gilt dem, was passieren könnte, wenn verwandte Methoden mit EEG funktionieren. EEG misst elektrische Aktivität über Elektroden, die sich in einer Kappe tragen oder in Geräte wie Kopfhörer einbauen lassen. Forschende arbeiten an Wegen, Hirnaktivität mit EEG zu dekodieren, auch wenn das hier beschriebene fMRI-System selbst kein EEG-Produkt ist.

Der Neurowissenschaftler und Philosoph Marcello Ienca hat die Möglichkeit aufgeworfen, dass ein Unternehmen, nachdem es ein EEG-Gerät auf eine Person kalibriert hat, zusätzliche Informationen aus deren Hirnaktivität gewinnen könnte. Er sieht außerdem eine mögliche künftige Rolle für rekonstruierte mentale Bilder vor Gericht, wobei das eine Sorge darüber ist, was die Technologie ermöglichen könnte, und keine aktuelle Rechtspraxis, die in der Forschung beschrieben wird.

Die Lehre für die nähere Zukunft ist bescheidener. Bessere Modelle und effizienteres Training machen die Rekonstruktion betrachteter Bilder aus Hirndaten weniger aufwendig, während die aktuelle Methode weiterhin auf teure Scans setzt und sichtbare Fehler erzeugt. Die Wissenschaft ist vorangekommen. Die schwierige Frage lautet, wie viel Privatsphäre wir von Geräten erwarten sollten, die das Gehirn messen sollen, besonders wenn ihre Hersteller am Ende versprechen, sie würden nur nach etwas Nützlichem lauschen.