idw – Informationsdienst Wissenschaft

Nachrichten, Termine, Experten

Grafik: idw-Logo
Grafik: idw-Logo

idw - Informationsdienst
Wissenschaft

Science Video Project
idw-Abo

idw-News App:

AppStore

Google Play Store



Instanz:
Teilen: 
27.07.2023 11:22

In die Tiefen des Netzwerks geblickt

Romas Bielke Öffentlichkeitsarbeit
Georg-August-Universität Göttingen

    Künstliche neuronale Netze sind in Forschung und Technik ebenso wie in Technologien des Alltags heute allgegenwärtig, zum Beispiel bei der Spracherkennung. Trotzdem ist bislang unklar, was genau in den tieferen Bereichen dieser Netzwerke passiert. Um dies zu ergründen, haben Forschende des Göttingen Campus Instituts für Dynamik biologischer Netzwerke (CIDBN) der Universität Göttingen und des Max-Planck-Instituts für Dynamik und Selbstorganisation (MPI-DS) eine informationstheoretische Analyse des Deep Learning, einer speziellen Form des maschinellen Lernens, vorgenommen.

    Sie erkannten, dass die Information weniger komplex dargestellt wird, je weiter sie verarbeitet wird. Darüber hinaus beobachteten sie Trainingseffekte: Je öfter ein Netzwerk mit Daten „trainiert“ wird, desto weniger künstliche Neuronen müssen gleichzeitig die Information verarbeiten. Die Ergebnisse sind in der Fachzeitschrift Transactions on Machine Learning Research erschienen.

    Künstliche neuronale Netze des Typs Deep Neural Network setzen sich aus zahlreichen Schichten zusammen, die jeweils aus künstlichen Neuronen bestehen. Die Netzwerke sind von der Funktionsweise der Großhirnrinde inspiriert. Sie müssen zunächst lernen, um Muster zu erkennen und zu verallgemeinern. Dazu werden sie mit Daten trainiert. Für ihre Studie nutzten die Forschenden Bilder von handgeschriebenen Zahlen, die das Netzwerk korrekt erkennen sollte. Das Prinzip ist einfach: Ein Bild wird in die Eingabeschicht eingelesen. Dann nehmen die Zwischenschichten den Inhalt des Bildes nacheinander auf, wobei die Information auf die künstlichen Neuronen verteilt wird. Am Ende gibt die Ausgabeschicht im Idealfall das korrekte Ergebnis aus.

    Mithilfe der partiellen Informationszerlegung (Partial Information Decomposition) ermittelten die Forschenden, wie die Eingabewerte in den Zwischenschichten umgeformt werden. Bei dieser Methode wird die Information in ihre Einzelteile zerlegt. So wird erkennbar, wie die künstlichen Neuronen die Verarbeitung aufteilen: Spezialisiert sich jedes Neuron auf individuelle Aspekte der Information? Oder gibt es viel Redundanz oder mehr Synergie?
    „Je weiter wir uns in Richtung der Ausgabeschicht im Netzwerk bewegen, auf desto weniger Neuronen liegt die Information verteilt. Die Neuronen spezialisieren sich. Die Repräsentation der Information wird mit der Verarbeitung weniger komplex und dadurch einfacher auslesbar,“ erklärt David Ehrlich vom CIDBN. Auch mit fortschreitendem Training sinkt die Anzahl an Neuronen, die an der Entschlüsselung der Information beteiligt sind. Folglich trägt das Training dazu bei, dass die Komplexität während der Verarbeitung abnimmt.

    „Neu ist vor allem, dass wir nun Einblick in die Informationsstruktur und Funktionsweise jeder einzelnen Zwischenschicht haben. Wir können also der Informationsverarbeitung in künstlichen neuronalen Netzen Schicht für Schicht zusehen – und das sogar während des Lernvorgangs“, so Andreas Schneider vom MPI-DS. „Das bietet einen neuen Ausgangspunkt, um Deep Neural Networks zu verbessern. Sie werden in kritischen Bereichen wie dem autonomen Fahren und der Gesichtserkennung eingesetzt. Es gilt daher, Fehler zu vermeiden. Dafür ist es wichtig, das Innenleben der Netzwerke genau zu kennen“, sind sich die Forschenden einig.


    Wissenschaftliche Ansprechpartner:

    Dr. Britta Korkowsky
    Georg-August-Universität Göttingen
    Göttingen Campus Institut für Dynamik biologischer Netzwerke (CIDBN)
    Geschäftsstelle
    Heinrich-Düker-Weg 12, 37073 Göttingen
    Telefon: 0551 39-26675
    E-Mail: cidbn@uni-goettingen.de

    Dr. Manuel Maidorn
    Pressereferent
    Max-Planck-Instituts für Dynamik und Selbstorganisation (MPI-DS)
    Am Faßberg 17, 37077 Göttingen
    Telefon: 0551 5176-668
    E-Mail: presse@ds.mpg.de


    Originalpublikation:

    Originalveröffentlichung: Ehrlich, D. A. et al: A Measure of the Complexity of Neural Representations based on Partial Information Decomposition. Transactions on Machine Learning Research (2023). https://openreview.net/pdf?id=R8TU3pfzFr


    Weitere Informationen:

    https://www.uni-goettingen.de/de/3240.html?id=7165 (mit Bildern zum Download)


    Bilder

    Merkmale dieser Pressemitteilung:
    Journalisten
    Biologie, Informationstechnik
    überregional
    Forschungsergebnisse
    Deutsch


     

    Hilfe

    Die Suche / Erweiterte Suche im idw-Archiv
    Verknüpfungen

    Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.

    Klammern

    Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).

    Wortgruppen

    Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.

    Auswahlkriterien

    Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).

    Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).