idw – Informationsdienst Wissenschaft

Nachrichten, Termine, Experten

Grafik: idw-Logo
Grafik: idw-Logo

idw - Informationsdienst
Wissenschaft

Science Video Project
idw-Abo

idw-News App:

AppStore

Google Play Store



Instance:
Share on: 
07/27/2023 11:22

In die Tiefen des Netzwerks geblickt

Romas Bielke Öffentlichkeitsarbeit
Georg-August-Universität Göttingen

    Künstliche neuronale Netze sind in Forschung und Technik ebenso wie in Technologien des Alltags heute allgegenwärtig, zum Beispiel bei der Spracherkennung. Trotzdem ist bislang unklar, was genau in den tieferen Bereichen dieser Netzwerke passiert. Um dies zu ergründen, haben Forschende des Göttingen Campus Instituts für Dynamik biologischer Netzwerke (CIDBN) der Universität Göttingen und des Max-Planck-Instituts für Dynamik und Selbstorganisation (MPI-DS) eine informationstheoretische Analyse des Deep Learning, einer speziellen Form des maschinellen Lernens, vorgenommen.

    Sie erkannten, dass die Information weniger komplex dargestellt wird, je weiter sie verarbeitet wird. Darüber hinaus beobachteten sie Trainingseffekte: Je öfter ein Netzwerk mit Daten „trainiert“ wird, desto weniger künstliche Neuronen müssen gleichzeitig die Information verarbeiten. Die Ergebnisse sind in der Fachzeitschrift Transactions on Machine Learning Research erschienen.

    Künstliche neuronale Netze des Typs Deep Neural Network setzen sich aus zahlreichen Schichten zusammen, die jeweils aus künstlichen Neuronen bestehen. Die Netzwerke sind von der Funktionsweise der Großhirnrinde inspiriert. Sie müssen zunächst lernen, um Muster zu erkennen und zu verallgemeinern. Dazu werden sie mit Daten trainiert. Für ihre Studie nutzten die Forschenden Bilder von handgeschriebenen Zahlen, die das Netzwerk korrekt erkennen sollte. Das Prinzip ist einfach: Ein Bild wird in die Eingabeschicht eingelesen. Dann nehmen die Zwischenschichten den Inhalt des Bildes nacheinander auf, wobei die Information auf die künstlichen Neuronen verteilt wird. Am Ende gibt die Ausgabeschicht im Idealfall das korrekte Ergebnis aus.

    Mithilfe der partiellen Informationszerlegung (Partial Information Decomposition) ermittelten die Forschenden, wie die Eingabewerte in den Zwischenschichten umgeformt werden. Bei dieser Methode wird die Information in ihre Einzelteile zerlegt. So wird erkennbar, wie die künstlichen Neuronen die Verarbeitung aufteilen: Spezialisiert sich jedes Neuron auf individuelle Aspekte der Information? Oder gibt es viel Redundanz oder mehr Synergie?
    „Je weiter wir uns in Richtung der Ausgabeschicht im Netzwerk bewegen, auf desto weniger Neuronen liegt die Information verteilt. Die Neuronen spezialisieren sich. Die Repräsentation der Information wird mit der Verarbeitung weniger komplex und dadurch einfacher auslesbar,“ erklärt David Ehrlich vom CIDBN. Auch mit fortschreitendem Training sinkt die Anzahl an Neuronen, die an der Entschlüsselung der Information beteiligt sind. Folglich trägt das Training dazu bei, dass die Komplexität während der Verarbeitung abnimmt.

    „Neu ist vor allem, dass wir nun Einblick in die Informationsstruktur und Funktionsweise jeder einzelnen Zwischenschicht haben. Wir können also der Informationsverarbeitung in künstlichen neuronalen Netzen Schicht für Schicht zusehen – und das sogar während des Lernvorgangs“, so Andreas Schneider vom MPI-DS. „Das bietet einen neuen Ausgangspunkt, um Deep Neural Networks zu verbessern. Sie werden in kritischen Bereichen wie dem autonomen Fahren und der Gesichtserkennung eingesetzt. Es gilt daher, Fehler zu vermeiden. Dafür ist es wichtig, das Innenleben der Netzwerke genau zu kennen“, sind sich die Forschenden einig.


    Contact for scientific information:

    Dr. Britta Korkowsky
    Georg-August-Universität Göttingen
    Göttingen Campus Institut für Dynamik biologischer Netzwerke (CIDBN)
    Geschäftsstelle
    Heinrich-Düker-Weg 12, 37073 Göttingen
    Telefon: 0551 39-26675
    E-Mail: cidbn@uni-goettingen.de

    Dr. Manuel Maidorn
    Pressereferent
    Max-Planck-Instituts für Dynamik und Selbstorganisation (MPI-DS)
    Am Faßberg 17, 37077 Göttingen
    Telefon: 0551 5176-668
    E-Mail: presse@ds.mpg.de


    Original publication:

    Originalveröffentlichung: Ehrlich, D. A. et al: A Measure of the Complexity of Neural Representations based on Partial Information Decomposition. Transactions on Machine Learning Research (2023). https://openreview.net/pdf?id=R8TU3pfzFr


    More information:

    https://www.uni-goettingen.de/de/3240.html?id=7165 (mit Bildern zum Download)


    Images

    Criteria of this press release:
    Journalists
    Biology, Information technology
    transregional, national
    Research results
    German


     

    Help

    Search / advanced search of the idw archives
    Combination of search terms

    You can combine search terms with and, or and/or not, e.g. Philo not logy.

    Brackets

    You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).

    Phrases

    Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.

    Selection criteria

    You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).

    If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).