idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
KI-Anwendungen wie ChatGPT basieren auf künstlichen neuronalen Netzen, die ein Stück weit den Nervenzellen im Gehirn nachempfunden sind. Sie werden auf Hochleistungsrechnern mit Unmengen von Daten trainiert und verschlingen dabei riesige Mengen Energie. Einen Ausweg bieten Netze aus sogenannten „spikenden“ Neuronen. Sie sind erheblich weniger energiehungrig. Allerdings funktionierten bei ihnen die normalen Trainingsmethoden bisher nur mit großen Einschränkungen. Eine aktuelle Studie der Universität Bonn stellt nun einen neuen Lösungsansatz für dieses Dilemma vor. Er könnte den Weg zu neuen KI-Verfahren ebnen, die erheblich energieeffizienter sind.
Die Ergebnisse sind in den Physical Review Letters erschienen.
Unser Gehirn ist ein außergewöhnliches Organ. Es verbraucht gerade einmal so viel Energie wie drei LED-Birnen und wiegt weniger als ein Laptop. Dennoch kann es Musikstücke komponieren, so etwas Komplexes wie die Quantentheorie ersinnen oder über das Leben nach dem Tod philosophieren.
KI-Anwendungen wie ChatGPT sind zwar auch erstaunlich leistungsfähig. Wenn sie über einem Problem brüten, verschlingen sie dabei jedoch Unmengen an Energie. Zwar basieren sie wie das menschliche Gehirn auf einem neuronalen Netzwerk, in dem viele Milliarden „Nervenzellen“ Informationen austauschen. Herkömmliche künstliche Neuronen machen das jedoch ohne Unterbrechungen - wie bei einem Maschendrahtzaun, durch dessen Maschen permanent Strom fließt.
„In biologischen Neuronen ist das anders“, betont Prof. Dr. Raoul-Martin Memmesheimer vom Institut für Genetik der Universität Bonn. „Sie kommunizieren mit Hilfe kurzer Spannungspulse, der sogenannten Aktionspotentiale oder ‚Spikes‘. Diese treten vergleichsweise selten auf; daher kommen die Netzwerke mit deutlich weniger Energie aus.“ Ein wichtiges Feld in der KI-Forschung ist daher die Entwicklung künstlicher neuronaler Netze, die ebenfalls „spiken“.
Spikende Netze: effizient, aber schwer zu trainieren
Um bestimmte Aufgaben erledigen zu können, müssen neuronale Netze trainiert werden. Mal angenommen, eine KI soll lernen, einen Stuhl von einem Tisch zu unterscheiden. Man zeigt ihr dazu Bilder von Möbelstücken und schaut, ob sie richtig oder falsch liegt. Abhängig von dem Ergebnis werden manche Verbindungen des neuronalen Netzes gestärkt und andere geschwächt - und zwar so, dass die Fehlerrate von Trainingsdurchgang zu Trainingsdurchgang niedriger wird.
Durch dieses Training verändert sich nach jedem Durchgang, welche Neuronen wie stark aufeinander Einfluss nehmen. „Bei klassischen neuronalen Netzen verändern sich die Ausgabesignale dabei graduell“, erklärt Memmesheimer, der auch Mitglied im Transdisziplinären Forschungsbereich „Life and Health“ ist. „Das Ausgabesignal kann zum Beispiel von 0,9 auf 0,8 abnehmen. Bei spikenden Neuronen geht das aber nicht: Spikes sind entweder da oder nicht; es gibt keine halben Spikes.“
Man könnte vielleicht sagen, dass bei neuronalen Netzen jede Verbindung über einen Drehregler verfügt. Damit können auch die Ausgabesignale eines Neurons etwas stärker oder etwas schwächer eingestellt werden. Sämtliche Reglereinstellungen werden so lange optimiert, bis das Netz Tische von Stühlen treffsicher unterscheiden kann. Bei spikenden Netzen können die Regler aber nicht graduell die Stärke der Ausgabesignale verändern. „Daher lassen sich auch die Verbindungen nicht so einfach fein abgestimmt gewichten“, sagt Memmesheimers Mitarbeiter Dr. Christian Klos, Erstautor der Studie.
Man nahm daher bisher an, dass die herkömmliche Trainingsmethode (in der Forschung spricht man von „gradient descent learning“) bei spikenden Netzen sehr problematisch ist. Die aktuelle Studie zeigt nun jedoch, dass das nicht stimmt. „Wir haben entdeckt, dass in bestimmten Standard-Neuronenmodellen die Spikes nicht einfach so erscheinen oder verschwinden können. Stattdessen können sie im Wesentlichen nur zeitlich verschoben werden“, erläutert Klos. Die Zeitpunkte, an denen die Spikes auftreten, lassen sich dann mit Hilfe der Verbindungsstärken einstellen, und zwar kontinuierlich.
Verbindungen in spikenden Netzen fein abgestimmt gewichten
Die zeitlichen Muster der Spikes beeinflussen das Antwortverhalten der Neuronen, die die Spikes empfangen. Vereinfacht gesagt, gilt: Je „gleichzeitiger“ bei einem biologischen oder einem spikenden künstlichen Neuron Signale von mehreren anderen Neuronen einlaufen, desto stärker steigt die Wahrscheinlichkeit, dass es selbst einen Spike erzeugt. Der Einfluss eines Neurons auf ein anderes Neuron lässt sich also sowohl durch die Verbindungsstärken als auch durch die Spikezeiten justieren. „In den von uns untersuchten spikenden neuronalen Netzen können wir für beides dieselbe sehr effiziente herkömmliche Trainingsmethode verwenden“, sagt Klos.
Die Forscher konnten bereits demonstrieren, dass ihr Verfahren tatsächlich funktioniert: Ein von ihnen trainiertes spikendes neuronales Netz lernte, per Hand geschriebene Ziffern treffsicher voneinander zu unterscheiden. In einem nächsten Schritt wollen sie es mit einer deutlich komplexeren Aufgabe konfrontieren - dem Verständnis gesprochener Sprache. „Welche Rolle unsere Methode künftig bei der Anlernung spikender Netze spielen wird, ist noch nicht abzusehen“, sagt Memmesheimer. „Wir glauben aber, dass sie großes Potenzial hat, einfach weil sie exakt ist und genau der Methode entspricht, die bei nichtspikenden neuronalen Netzwerken hervorragend funktioniert.“
Förderung:
Die Studie wurde vom Bundesministerium für Bildung und Forschung (BMBF) im Rahmen des Bernsteinpreises 2014 gefördert.
Prof. Dr. Raoul-Martin Memmesheimer
Neuronale Netzwerkdynamik und Informationsverarbeitung
Universität Bonn
Tel.: +49 (0) 228 73 9824
E-Mail: rm.memmesheimer@uni-bonn.de
Christian Klos and Raoul-Martin Memmesheimer: Smooth Exact Gradient Descent Learning in Spiking Neural Networks; Physical Review Letters; DOI: 10.1103/PhysRevLett.134.027301
https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.134.027301
, Erlernen eines Spikemusters, das die Hamburger Elbphilharmonie zeigt. Ein Einzelbild zeigt das Muster während eines Lernschrittes. Die kurzen Striche sind die Spikes der Netzwerkneuronen. Sie sind entsprechend dem erzeugendem Neuron auf der vertikalen und entsprechend ihres Zeitpunktes auf der horizontalen Achse angeordnet. Video: AG Memmesheimer / Uni Bonn
Criteria of this press release:
Journalists, all interested persons
Biology, Information technology
transregional, national
Research results
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
