idw – Informationsdienst Wissenschaft

Nachrichten, Termine, Experten

Grafik: idw-Logo
Grafik: idw-Logo

idw - Informationsdienst
Wissenschaft

Science Video Project
idw-Abo

idw-News App:

AppStore

Google Play Store



Instance:
Share on: 
03/11/2021 17:00

Neuer Ansatz für energieeffiziente KI-Anwendungen gefunden

Mag. Christoph Pelzl, MSc Kommunikation und Marketing
Technische Universität Graz

    Forscher der TU Graz zeigen eine neue Design-Methode für besonders energieschonende künstliche neuronale Netzwerke, die mit extrem wenigen Signalen auskommen, und – ähnlich wie der Morse-Code – auch den Pausen zwischen den Signalen eine Bedeutung zuweisen.

    Die meisten neuen Errungenschaften der Künstlichen Intelligenz (KI) erfordern sehr große neuronale Netze. Sie bestehen aus hunderten Millionen von Neuronen, die in mehreren hundert Schichten angeordnet sind, also sehr „tiefe“ Netzstrukturen haben. Diese großen, tiefen neuronalen Netze verbrauchen im Computer sehr viel Energie. Besonders energieintensiv sind jene neuronalen Netze, die in der Bildklassifizierung (z. B. Gesichts- und Objekterkennung) eingesetzt werden, da sie in jedem Zeittakt sehr viele Zahlenwerte mit großer Genauigkeit von einer Neuronenschicht zur nächsten senden müssen.

    Der Informatiker Wolfgang Maass hat gemeinsam mit seinem Doktoranden Christoph Stöckl nun eine Design-Methode für künstliche neuronale Netzwerke gefunden, die den Weg zu einer energieeffizienten leistungsfähigen KI-Hardware (z. B. Chips für Fahrassistenzsysteme, Smartphones und anderen Mobile Devices) ebnet. Die beiden Forscher des Instituts für Grundlagen der Informationsverarbeitung der TU Graz haben künstliche neuronale Netzwerke in Computer-Simulationen zur Bildklassifizierung derart optimiert, dass die Neuronen – ähnlich wie Neurone im Gehirn – nur relativ selten Signale aussenden müssen und eben diese Signale sehr einfach sind.

    Die nachgewiesene Klassifizierungsgenauigkeit von Bildern mit diesem Design kommt trotzdem sehr nahe an den aktuellen Stand der Technik derzeitiger Bildklassifizierungstools heran.

    Informationsverarbeitung im menschlichen Gehirn als Vorbild

    Maass und Stöckl ließen sich dabei von der Arbeitsweise des menschlichen Gehirns inspirieren. Dieses verarbeitet mehrere Billionen Rechenoperationen in der Sekunde, benötigt dafür aber nur ca. 20 Watt. Möglich wird dieser geringe Energieverbrauch durch die zwischenneuronale Kommunikation mittels sehr einfacher elektrischer Impulse, sogenannter Spikes. Die Information wird dabei nicht nur durch die Anzahl der Spikes, sondern auch durch ihre zeitlichen variablen Muster kodiert. „Man kann sich das vorstellen wie einen Morse-Code. Auch die Pausen zwischen den Signalen übertragen Informationen“, erklärt Maass.

    Konvertierungsmethode für trainierte künstliche neuronale Netzwerke

    Dass eine Spike-basierte Hardware den Energieverbrauch von Anwendungen mit neuronalen Netzen reduzieren kann, ist nicht neu. Dies konnte aber bisher nicht für die sehr tiefen und großen neuronalen Netze realisiert werden die man für wirklich gute Bildklassifikation benötigt.

    In der Design-Methode von Maass und Stöckl kommt es nun bei der Informationsübertagung nicht nur darauf an, wie viele Spikes ein Neuron aussendet, sondern auch, wann das Neuron diese Spikes aussendet. Die Zeit bzw. die zeitlichen Abstände zwischen den Spikes kodieren sich praktisch selbst und können daher sehr viel zusätzliche Information übertragen. „Wir zeigen, dass mit wenigen Spikes – in unseren Simulationen sind es durchschnittlich zwei – genauso viel Informationen zwischen den Prozessoren vermittelt werden können wie in energieaufwendiger Hardware“, so Maass.

    Mit den Ergebnissen liefern die beiden Informatiker der TU Graz einen neuen Ansatz für Hardware, die wenige Spikes und damit einen geringen Energieverbrauch mit State-of-the-Art-Performances von KI-Anwendungen verbindet. Die Ergebnisse könnten die Entwicklung von energieeffizienter KI-Anwendungen drastisch beschleunigen und werden unter anderem im Journal Nature Machine Intelligence beschrieben.

    Diese Forschungsarbeit ist an der TU Graz in den Fields of Expertise „Human and Biotechnology“ und „Information, Communication & Computing“ verankert, zwei von fünf Stärkefeldern der TU Graz. Gefördert wurde sie durch das europäische Human Brain Project, das Neurowissenschaft, Medizin und die Entwicklung Gehirn-inspirierter Technologien miteinander verbindet.


    Contact for scientific information:

    TU Graz | Institute of Theoretical Computer Science
    Wolfgang MAASS
    Em.Univ.-Prof. Dipl.-Ing. Dr.rer.nat.
    Tel.: +43 316 873 5822
    maass@igi.tugraz.at

    Christoph STÖCKL
    Dipl.-Ing. BSc
    Tel.: +43 316 873 5847
    stoeckl@tugraz.at


    Original publication:

    C. Stoeckl and W. Maass: Optimized spiking neurons can classify images with high accuracy through temporal coding with two spikes.
    in: Nature Machine Intelligence
    DOI: 10.1038/s42256-021-00311-4


    More information:

    https://www.tugraz.at/institutes/igi/home/ (Institut für Grundlagen der Informationsverarbeitung)
    https://www.humanbrainproject.eu/en/ (Human Brain Project)


    Images

    Der energieeffiziente Algorithmus der TU Graz-Forscher wird in vom menschlichen Gehirn inspirierte Rechensysteme implementiert, wie dem Spike-basierten SpiNNaker. SpiNNaker ist Teil der Forschungsinfrastruktur EBRAINS des Human Brain Projects
    Der energieeffiziente Algorithmus der TU Graz-Forscher wird in vom menschlichen Gehirn inspirierte R ...

    © Forschungszentrum Jülich

    TU Graz-Informatiker Wolfgang Maass (v.l.) arbeitet an energieeffizienten KI-Anwendungen und lässt sich dabei von der Funktionsweise des menschlichen Gehirns inspirieren.
    TU Graz-Informatiker Wolfgang Maass (v.l.) arbeitet an energieeffizienten KI-Anwendungen und lässt s ...
    www.lunghammer.at
    © Lunghammer - TU Graz


    Criteria of this press release:
    Journalists, Scientists and scholars
    Electrical engineering, Energy, Information technology, Mathematics
    transregional, national
    Research results, Scientific Publications
    German


     

    Help

    Search / advanced search of the idw archives
    Combination of search terms

    You can combine search terms with and, or and/or not, e.g. Philo not logy.

    Brackets

    You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).

    Phrases

    Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.

    Selection criteria

    You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).

    If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).