Neurowissenschaftler bringen Computern bei, Wörter direkt aus dem Gehirn von Menschen zu lesen.
Kelly Servick, die für die Wissenschaft schrieb, berichtete diese Woche über drei Artikel, die auf dem Preprint-Server bioRxiv veröffentlicht wurden und in denen drei verschiedene Forscherteams zeigten, dass sie Sprache aus Aufzeichnungen von feuernden Neuronen entschlüsseln können. In jeder Studie zeichneten Elektroden, die direkt auf dem Gehirn platziert waren, die neuronale Aktivität auf, während Patienten mit Gehirnchirurgie Sprache hörten oder Wörter laut vorlas. Dann versuchten die Forscher herauszufinden, was die Patienten hörten oder sagten. In jedem Fall konnten die Forscher die elektrische Aktivität des Gehirns in zumindest etwas verständliche Audiodateien umwandeln.
Das erste Papier, das am 10. Oktober 2018 bei bioRxiv veröffentlicht wurde, beschreibt ein Experiment, bei dem Forscher Sprachaufzeichnungen für Patienten mit Epilepsie abspielten, die sich mitten in einer Gehirnoperation befanden. (Die im Experiment aufgenommenen neuronalen Aufzeichnungen mussten sehr detailliert sein, um interpretiert zu werden. Diese Detailgenauigkeit ist nur in den seltenen Fällen verfügbar, in denen ein Gehirn der Luft ausgesetzt ist und Elektroden direkt darauf platziert werden, z. B. bei Gehirnoperationen .)
Während die Patienten die Audiodateien hörten, zeichneten die Forscher Neuronen auf, die in den Teilen des Gehirns der Patienten feuerten, die Schall verarbeiten. Die Wissenschaftler versuchten verschiedene Methoden, um diese neuronalen Feuerdaten in Sprache umzuwandeln, und stellten fest, dass "Deep Learning" - bei dem ein Computer versucht, ein mehr oder weniger unbeaufsichtigtes Problem zu lösen - am besten funktioniert. Wenn sie die Ergebnisse für eine Gruppe von 11 Zuhörern über einen Vocoder abspielten, der menschliche Stimmen synthetisiert, konnten diese Personen die Wörter 75 Prozent der Zeit richtig interpretieren.
Sie können Audio von diesem Experiment hier anhören.
Das zweite Papier, das am 27. November 2018 veröffentlicht wurde, stützte sich auf neuronale Aufzeichnungen von Menschen, die sich einer Operation unterzogen, um Hirntumoren zu entfernen. Während die Patienten einsilbige Wörter laut vorlas, zeichneten die Forscher sowohl die Geräusche auf, die aus dem Mund der Teilnehmer kamen, als auch die Neuronen, die in den sprachproduzierenden Regionen ihres Gehirns feuerten. Anstatt Computer tief in jedem Patienten zu trainieren, lehrten diese Forscher ein künstliches neuronales Netzwerk, um die neuronalen Aufzeichnungen in Audio umzuwandeln. Dies zeigte, dass die Ergebnisse zumindest einigermaßen verständlich und den von den Mikrofonen gemachten Aufzeichnungen ähnlich waren. (Das Audio von diesem Experiment ist hier, muss aber als Zip-Datei heruntergeladen werden.)
Das dritte Papier, das am 9. August 2018 veröffentlicht wurde, stützte sich auf die Aufzeichnung des Teils des Gehirns, der bestimmte Wörter, die eine Person sprechen möchte, in Muskelbewegungen umwandelt. Obwohl online keine Aufzeichnung dieses Experiments verfügbar ist, berichteten die Forscher, dass sie ganze Sätze rekonstruieren konnten (auch während einer Gehirnoperation bei Patienten mit Epilepsie aufgezeichnet) und dass Personen, die die Sätze hörten, sie bei einer Multiple-Choice-Methode korrekt interpretieren konnten Test (von 10 Auswahlmöglichkeiten) 83 Prozent der Zeit. Die Methode dieses Experiments beruhte darauf, die Muster zu identifizieren, die bei der Erzeugung einzelner Silben und nicht ganzer Wörter eine Rolle spielen.
Ziel all dieser Experimente ist es, Menschen, die aufgrund von Amyotropher Lateralsklerose oder ähnlichen Erkrankungen nicht mehr sprechen können, eines Tages das Sprechen über eine Computer-Gehirn-Schnittstelle zu ermöglichen. Die Wissenschaft für diese Anwendung ist jedoch noch nicht da.
Die Interpretation der neuronalen Muster einer Person, die sich nur Sprache vorstellt, ist komplizierter als die Interpretation der Muster einer Person, die Sprache hört oder produziert, berichtete die Wissenschaft. (Die Autoren des zweiten Papiers sagten jedoch, dass es möglich sein könnte, die Gehirnaktivität von jemandem zu interpretieren, der sich Sprache vorstellt.)
Es ist auch wichtig zu bedenken, dass dies kleine Studien sind. Das erste Papier stützte sich auf Daten von nur fünf Patienten, während das zweite sechs Patienten und das dritte nur drei Patienten betraf. Und keine der neuronalen Aufzeichnungen dauerte länger als eine Stunde.
Dennoch schreitet die Wissenschaft voran, und Geräte mit künstlicher Sprache, die direkt an das Gehirn angeschlossen sind, scheinen irgendwann eine echte Möglichkeit zu sein.
