idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Wissenschaftler*innen schlagen eine neue Methode zur Implementierung eines neuronalen Netzes mit einem optischen System vor, die das maschinelle Lernen in Zukunft nachhaltiger machen könnte. Die Forscher*innen des Max-Planck-Instituts für die Physik des Lichts haben ihre neue Methode in der Fachzeitschrift Nature Physics veröffentlicht. Sie zeigen eine Methode, die viel einfacher ist als bisherige Ansätze.
Maschinelles Lernen und künstliche Intelligenz werden immer häufiger eingesetzt. Die Anwendungen reichen von Bilderkennung bis hin zur Texterstellung, wie ChatGPT zeigt. Diese herausfordernden Aufgaben erfordern jedoch immer komplexere neuronale Netze, einige mit vielen Milliarden Parametern. Dieses rasche Wachstum neuronaler Netze hat dazu geführt, dass sich die Technologien aufgrund ihres exponentiell steigenden Energieverbrauchs und ihrer Trainingszeiten auf einem Weg befinden, der nicht mehr nachhaltig ist. So wird beispielsweise geschätzt, dass das Training von GPT-3 mehr als 1.000 MWh Energie verbraucht hat, was dem täglichen Stromverbrauch einer Kleinstadt entspricht. Dieser Trend hat zu einem Bedarf an schnelleren, energie- und kosteneffizienteren Alternativen geführt und das sich rasch entwickelnde Feld des neuromorphen Computing ausgelöst. Ziel dieses Forschungsfeldes ist es, die neuronalen Netze in unseren digitalen Computern durch physikalische, neuronale Netze zu ersetzen. Diese werden so konstruiert, dass sie die erforderlichen mathematischen Operationen potenziell schneller und energieeffizienter durchführen.
Optik und Photonik sind besonders vielversprechende Plattformen für neuromorphes Computing, da der Energieverbrauch auf ein Minimum reduziert werden kann. Berechnungen können parallel mit sehr hohen Geschwindigkeiten durchgeführt werden, die nur durch die Lichtgeschwindigkeit begrenzt sind. Bislang gab es jedoch zwei große Herausforderungen: Zum einen erfordert die Realisierung der erforderlichen komplexen mathematischen Berechnungen hohe Laserleistungen. Zum anderen gab es bisher keine effiziente allgemeine Trainingsmethode für solche physikalischen neuronalen Netze.
Beide Herausforderungen können mit der neuen Methode überwunden werden, die Clara Wanjura und Florian Marquardt vom Max-Planck-Institut für die Physik des Lichts in ihrem neuen Artikel in Nature Physics vorstellen. "Normalerweise werden die eingegebenen Daten dem Lichtfeld aufgeprägt. In unserer neuen Methode schlagen wir jedoch vor, diese Daten durch Veränderung der Lichttransmission aufzuprägen", erklärt Florian Marquardt, Direktor am Institut. Auf diese Weise kann das Eingangssignal auf beliebige Weise verarbeitet werden. Das gelingt, obwohl sich das Lichtfeld selbst auf die einfachste Art und Weise verhält, in der Wellen interferieren, ohne sich sonst gegenseitig zu beeinflussen. Daher erlaubt der neue Ansatz, komplizierte physikalische Wechselwirkungen zu vermeiden, die normalerweise nötig wären, um die erforderlichen mathematischen Funktionen zu realisieren und die sonst leistungsstarke Lichtfelder erfordern würden. Das Auswerten und Trainieren dieses physikalischen neuronalen Netzes würde dann sehr einfach werden: “Die Methode würde wirklich nur erfordern, Licht durch das System zu schicken und das übertragene Licht zu beobachten. So können wir den Output des Netzes ablesen. Gleichzeitig lassen sich so alle für das Training relevanten Informationen messen", sagt Clara Wanjura, die Erstautorin der Studie. Die Autoren haben in Simulationen gezeigt, dass ihr Ansatz bei Bildklassifizierungsaufgaben dieselbe Genauigkeit erzielt wie digitale neuronale Netze.
Für die Zukunft planen die Autor*innen eine Zusammenarbeit mit experimentellen Gruppen, um die Umsetzung ihrer Methode zu untersuchen. Da ihr Vorschlag die experimentellen Anforderungen erheblich lockert, kann er in vielen physikalisch sehr unterschiedlichen Systemen angewendet werden. Dies eröffnet neue Möglichkeiten für neuromorphe Hardware, die ein physikalisches Training auf einer breiten Palette von Plattformen ermöglichen.
Professor Florian Marquardt
Max-Planck-Institut für die Physik des Lichts
Theory Division
Florian.Marquardt@mpl.mpg.de
Dr. Clara Wanjura
Max-Planck-Institut für die Physik des Lichts
Theory Division
Clara.Wanjura@mpl.mpg.de
Wanjura, C.C., Marquardt, F., Fully nonlinear neuromorphic computing with linear wave scattering. Nat. Phys. (2024).
https://doi.org/10.1038/s41567-024-02534-9
DOI: doi.org/10.1038/s41567-024-02534-9
http://McMahon, P.L. Nonlinear computation with linear systems. Nat. Phys. (2024).
https://doi.org/10.1038/s41567-024-02531-y
Künstlerische Darstellung eines neuromorphen Systems aus Lichtleitern.
© CC Wanjura
Criteria of this press release:
Journalists
Mathematics, Physics / astronomy
transregional, national
Scientific Publications
German
Künstlerische Darstellung eines neuromorphen Systems aus Lichtleitern.
© CC Wanjura
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
