idw – Informationsdienst Wissenschaft

Nachrichten, Termine, Experten

Grafik: idw-Logo
Science Video Project
idw-Abo

idw-News App:

AppStore

Google Play Store



Instance:
Share on: 
07/22/2020 11:49

Forscher optimieren neuronale Netze auf einem vom Gehirn inspirierten Computersystem

Carolin Hoffrogge Presse- und Öffentlichkeitsarbeit
Max-Planck-Institut für Dynamik und Selbstorganisation

    Neuronale Netzwerke, sowohl biologischer Natur als auch in der künstlichen Intelligenz, verteilen Berechnungen auf Neuronen, um komplexe Aufgaben zu lösen. Neue Forschungen zeigen nun, wie sogenannte "kritische Zustände" genutzt werden können, um künstliche neuronalen Netze zu optimieren, die auf neuromorpher, vom Gehirn inspirierter Hardware laufen. Die Studie wurde von Wissenschaftlern der Universität Heidelberg im Rahmen des Human Brain Project (HBP) zusammen mit Forschern des Max-Planck-Instituts für Dynamik und Selbstorganisation (MPIDS) durchgeführt und im Fachjournal Nature Communications veröffentlicht.

    Komplexe Netzwerke entwickeln eine Vielzahl besonderer Eigenschaften, wenn sie sich an einem „kritischen Punkt“ befinden. In diesem Zustand, an dem Systeme ihr Verhalten schnell grundlegend ändern und z.B. zwischen Ordnung und Chaos oder zwischen Stabilität und Instabilität wechseln können, werden viele Recheneigenschaften maximiert. Aus diesem Grund wird allgemein angenommen, dass der kritische Zustand für jede Berechnung in rückgekoppelten neuronalen Netzen, die heute in einer Reihe von Anwendungen der künstlichen Intelligenz zum Einsatz kommen, optimal ist.

    Forscher des HBP-Partners Universität Heidelberg und des Max-Planck-Instituts für Dynamik und Selbstorganisation stellten diese Annahme nun auf den Prüfstand. Sie testeten die Leistungsfähigkeit eines rückgekoppelten neuronalen Netzes, das Informationen wie das Gehirn in sogenannten „Spikes“ kodiert, in unterschiedlich komplexen Aufgaben und veränderten dabei den Abstand zum kritischen Punkt. Für die Studie nutzten die Forscher ein einzigartiges vom Gehirn inspiriertes, analoges Computersystem, das im Rahmen des Europäischen Human Brain Project in Heidelberg entwickelt wird. Ihr Netzwerk lief auf einem Prototyp des BrainScaleS-2 Systems, das über direkte auf dem Chip implementierte synaptische Plastizität verfügt. Im Gehirn ist solche Plastizität, oder Anpassungsfähigkeit des Systems, die Grundlage für Lernprozesse und Erinnerungen.

    Zunächst demonstrierten die Forscher, dass der Abstand zum kritischen Punkt im Chip leicht angepasst werden kann. Des Weiteren zeigten sie einen klaren Zusammenhang zwischen Kritikalität und dem Abschneiden des Systems bei den gestellten Aufgaben. Die allgemeine Annahme, dass Kritikalität für jede Aufgabe vorteilhaft sei, bestätigte sich dabei jedoch nicht: Während alle informationstheoretischen Messungen eine maximale Netzwerkkapazität im Falle kritischer Dynamik zeigten, profitierten tatsächlich nur die komplexen, speicherintensiven Aufgaben von diesem Zustand, während einfache Aufgaben sogar darunter litten. Damit lieferte die Untersuchung ein genaueres Verständnis davon, wie der kollektive Netzwerkzustand auf unterschiedliche Aufgabenanforderungen abgestimmt werden sollte.

    Mechanistisch lässt sich der optimale Arbeitspunkt für jede Aufgabe sehr leicht durch Anpassung der mittleren Stärke des Eingangssignals einstellen. Die Theorie hinter diesem Mechanismus wurde erst kürzlich am Max-Planck-Institut für Dynamik und Selbstorganisation entwickelt. "Die Anwendung auf neuromorphe Hardware zeigt, dass diese Plastizitätsregeln sehr gut in der Lage sind, die Netzwerkdynamik auf unterschiedliche Abstände zur Kritikalität abzustimmen", sagt Seniorautorin Viola Priesemann, Gruppenleiterin am MPIDS. Dadurch können Aufgaben unterschiedlicher Komplexität in diesem Rahmen optimal gelöst werden.

    Das Ergebnis könnte auch erklären, warum biologische neuronale Netze nicht unbedingt an einem kritischen Punkt operieren, sondern vielmehr in der dynamisch reichen Umgebung dieses Punktes in der sie ihre Recheneigenschaften auf die Anforderungen der Aufgabe abstimmen können. Darüber hinaus etabliert die Arbeit neuromorphe Hardware als einen schnellen und skalierbaren Ansatz, um die Auswirkungen biologischer Plastizitätsregeln auf neuronale Berechnungen und die Dynamik von Netzwerken zu untersuchen.

    „In einem nächsten Schritt untersuchen und charakterisieren wir nun, wie sich der Arbeitspunkt des neuronalen Netzwerks auf die Klassifizierung von künstlichen und real gesprochenen Wörtern auswirkt“, sagt Erstautor Benjamin Cramer von der Universität Heidelberg.


    Original publication:

    Cramer, B., Stöckel, D., Kreft, M., Wibral, M., Schemmel, J., Meier, K., & Priesemann, V.
    Control of criticality and computation in spiking neuromorphic networks with plasticity
    Nature Communications, 11(1) (2020) 2853, DOI 10.1038/s41467-020-16548-3


    Images

    Prototyp des BrainScales-2 Chips, auf dem das Experiment durchgeführt wurde, Schematische Darstellung eines neuronalen Netzes und Ergebnisse für einfache und komplexe Aufgaben (von links nach rechts)
    Prototyp des BrainScales-2 Chips, auf dem das Experiment durchgeführt wurde, Schematische Darstellun ...

    © Universität Heidelberg und MPIDS


    Criteria of this press release:
    Journalists, Scientists and scholars
    Medicine, Physics / astronomy
    transregional, national
    Research results, Scientific Publications
    German


     

    Prototyp des BrainScales-2 Chips, auf dem das Experiment durchgeführt wurde, Schematische Darstellung eines neuronalen Netzes und Ergebnisse für einfache und komplexe Aufgaben (von links nach rechts)


    For download

    x

    Help

    Search / advanced search of the idw archives
    Combination of search terms

    You can combine search terms with and, or and/or not, e.g. Philo not logy.

    Brackets

    You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).

    Phrases

    Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.

    Selection criteria

    You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).

    If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).