Forschende der TU Graz entwickeln neue Brain-Computer-Interface-Anwendung, mit der sich durch Gedankenkraft Musik komponieren lässt. Wie das funktioniert, zeigen sie aktuell im Fachjournal PLOS ONE.
Gehirn-Computer-Schnittstellen, kurz BCIs, ersetzen ein Stück weit körperliche Funktionen: Körperlich beeinträchtigte Menschen können dank BCI-Technologie spezielle Prothesen über ihre Gedanken steuern, im Internet surfen oder E-Mails schreiben.
Unter dem Titel „Brain Composer“ zeigt eine Gruppe rund um den BCI-Experten Gernot Müller-Putz vom Institut für Neurotechnologie der TU Graz, dass auch andere Töne auf der Klaviatur der Brain-Computer-Interfaces erklingen können. Aus einer etablierten BCI-Methode, die hauptsächlich zum Buchstabieren, also Schreiben, mittels BCI dient, hat das Team eine neue Anwendung entwickelt, mit der sich Musik rein durch Gedankenkraft komponieren und aufs Notenblatt übertragen lässt. Alles, was es dazu braucht, ist eine spezielle Haube, die die Gehirnströme misst, das adaptierte BCI, eine Kompositionssoftware und freilich ein bisschen musikalisches Vorwissen.
Das Grundprinzip der verwendeten BCI-Methode namens P300 ist rasch beschrieben: Verschiedene Optionen, etwa Buchstaben oder in dem Fall Noten, Pausen, Akkorde und Co. blitzen rasch nacheinander in einer Tabelle auf. Wer trainiert ist und sich auf die gewünschte Option fokussiert, während diese aufleuchtet, verursacht damit eine minimale Änderung der Gehirnströme. Das BCI erkennt diese Änderung und zieht daraus Rückschlüsse auf die gewählte Option.
Musikalische Testpersonen
Melodien auf ein Notenblatt „denken“ durften 18 Testpersonen, die Gernot Müller-Putz, Andreas Pinegger und Selina C. Wriessnegger vom TU Graz-Institut für Neurotechnologie sowie Hannah Hiebel, mittlerweile Institut für Allgemeine Psychologie der Karl-Franzens-Universität Graz, für ihre Studie ausgewählt haben. Alle Testpersonen waren in der Studienphase körperlich gesund und hatten ein gewisses musikalisches und kompositorisches Grundwissen, indem sie etwa selbst Instrumente spielen. Unter den Testpersonen war auch der 2016 verstorbene Grazer Komponist und Klarinettist Franz Cibulka.
„Die Ergebnisse der BCI-Kompositionen können sich wirklich hören lassen. Und was noch wichtiger ist: Die Testpersonen hatten daran Freude. Schon nach einem kurzen Training konnten alle drauf los komponieren und ihre Melodien am Notenblatt sehen und dann auch spielen. Die sehr positiven Studienresultate mit körperlich gesunden Testpersonen sind der erste Schritt zur möglichen Erweiterung der BCI-Komposition für Patientinnen und Patienten.“, betont Müller-Putz.
„Nebenschauplatz“ der BCI-Forschung
Diese „Spielerei“, eher ein Nebenschauplatz der regen, auf körperlich beeinträchtigte Personen konzentrierten BCI-Forschung an der TU Graz, zeigt, in welche Richtungen es noch gehen kann. Es gibt mittlerweile erste Ansätze von BCI-Systemen auf dem Smartphone. Damit ließen sich BCI-Anwendungen leichter unter die Leute bringen, denn das Smartphone wird als leistungsfähiger Computer selbst Teil des BCI-Systems. Denkbar sind dann beispielsweise BCI-Apps, die Hirnsignale für unterschiedlichste Anwendungen analysieren können.
„Vor 20 Jahren war die Vision, mit Gedankenkraft ein Musikstück zu komponieren, unvorstellbar. Jetzt sind wir soweit, und haben gleichzeitigt zig neue, andere Visionen, die teilweise noch weit entfernt von der Realität sind. Es dauert zwar noch, bis das reif für Alltagsanwendungen sein wird. Die BCI-Community arbeitet in vielen Richtungen mit Hochdruck.“, so Müller-Putz.
Graz als Zentrum der BCI-Forschung
Die internationale Fachwelt für Gehirn-Computer-Schnittstellen (BCIs) tauscht sich von 18. bis 22. September in Graz aus, bei der Graz BCI Conference 2017, die mit einer besonderen Publikumsveranstaltung beendet wird: einem BCI Science Slam am Freitag, den 22. September. Fünf Forschende bringen Ihre aktuellen Themen mit sechsminütigen Showeinlagen kreativ und verständlich auf die Bühne, das Publikum wählt anschließend den Sieger oder die Siegerin des Slams. Der Eintritt ist frei!
Zur Originalpublikation:
“Composing only by thought: Novel application of the P300 brain-computer interface”. Andreas Pinegger, Hannah Hiebel, Selina C. Wriessnegger, Gernot R. Müller-Putz. PLOS ONE 12 (9) , a0181584, 6. September 2017. Ab 20 Uhr hier online: http://dx.doi.org/10.1371/journal.pone.0181584
Kontakt:
Gernot MÜLLER-PUTZ
Univ.-Prof. Dipl.-Ing. Dr.techn.
TU Graz | Institut für Neurotechnologie
Tel.: +43 316 873 30700
E-Mail: gernot.mueller@tugraz.at
https://www.tugraz.at/institute/ine/research/videos/ Kurzvideo "Sheet Music by Mind
https://www.tugraz.at/institute/ine/graz-bci-conferences/graz-bci-conference-201... Infos zu BCI Konferenz und BCI Science Slam
https://www.tugraz.at/institute/ine Website des Instituts für Neurotechnologie
Criteria of this press release:
Journalists
Electrical engineering, Information technology, Music / theatre
transregional, national
Research results, Scientific Publications
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).