idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Das Training von neuronalen Netzen für Künstliche Intelligenz (KI) erfordert enorme Rechenressourcen und damit sehr viel Strom. Forschende der Technischen Universität München (TUM) haben eine Methode entwickelt, die hundertmal schneller und damit wesentlich energieeffizienter funktioniert. Statt iterativ, also schrittweise vorzugehen, werden die Parameter auf Grundlage ihrer Wahrscheinlichkeit direkt aus den Daten berechnet. Die Qualität der Ergebnisse ist mit den bislang üblichen iterativen Verfahren vergleichbar.
KI-Anwendungen, wie Large Language Models (LLMs), sind aus unserem Alltag nicht mehr wegzudenken. Die benötigten Rechen-, Speicher- und Übertragungskapazitäten werden dabei von Rechenzentren zur Verfügung gestellt. Doch der Energieverbrauch dieser Zentren ist enorm: 2020 lag er in Deutschland bei rund 16 Milliarden Kilowattstunden – etwa ein Prozent des gesamten deutschen Strombedarfs. Für das Jahr 2025 wird ein Anstieg auf 22 Milliarden Kilowattstunden prognostiziert.
Neue Methode ist hundertfach schneller und ähnlich genau
Hinzu kommt, dass in den kommenden Jahren komplexere KI-Anwendungen die Anforderungen an Rechenzentren noch einmal deutlich erhöhen werden. Diese beanspruchen für das Training von neuronalen Netzen enorme Rechenressourcen. Um dieser Entwicklung entgegenzuwirken, haben Forschende eine Methode entwickelt, die hundertmal schneller ist und dabei vergleichbar genaue Ergebnisse liefert wie bisherige Trainingsmethoden. Damit sinkt der benötigte Strombedarf für das Training erheblich.
Neuronale Netze, die in der KI für Aufgaben wie Bilderkennung oder Sprachverarbeitung eingesetzt werden, sind in ihrer Funktionsweise durch das menschliche Gehirn inspiriert. Sie bestehen aus miteinander verknüpften Knoten, den sogenannten künstlichen Neuronen. Diese erhalten Eingabesignale, die dann mit bestimmten Parametern gewichtet und aufsummiert werden. Wird ein festgelegter Schwellenwert überschritten, wird das Signal an die darauf folgenden Knoten weitergegeben. Zum Training des Netzwerks werden die Parameterwerte anfangs normalerweise zufällig gewählt, zum Beispiel in einer Normalverteilung. Sie werden dann über kleinste Änderungen angepasst, um die Netzwerkvorhersagen langsam zu verbessern. Da für diese Trainingsmethode viele Wiederholungen benötigt werden, ist sie extrem aufwendig und benötigt viel Strom.
Parameter werden auf Grundlage ihrer Wahrscheinlichkeit ausgewählt
Felix Dietrich, Professor für Physics-enhanced Machine Learning und sein Team haben nun ein neues Verfahren entwickelt. Statt die Parameter zwischen den Knotenpunkten iterativ zu bestimmen, basiert ihr Ansatz auf Wahrscheinlichkeitsberechnungen. Die hier gewählte, probabilistische Methode basiert darauf, gezielt Werte zu nutzen, die sich an kritischen Stellen der Trainingsdaten befinden. Sie fokussiert sich also auf die Stellen, an denen sich die Werte besonders stark und schnell ändern. Die aktuelle Studie zielt darauf ab, mit diesem Ansatz energieerhaltende dynamische Systeme aus Daten zu lernen. Solche Systeme verändern sich im Laufe der Zeit nach bestimmten Regeln und finden sich unter anderem in Klimamodellen oder auf dem Finanzmarkt.
„Unsere Methode ermöglicht es, die benötigten Parameter mit minimalem Rechenaufwand zu bestimmen. Dadurch können neuronale Netze erheblich schneller und dadurch energieeffizienter trainiert werden“, erklärt Felix Dietrich. „Darüber hinaus hat sich gezeigt, dass die neue Methode in ihrer Genauigkeit mit iterativ trainierten Netzwerken vergleichbar ist.“
Prof. Dr. Felix Dietrich
Physics-enhanced Machine Learning
Technische Universität München
felix.dietrich@tum.de
www.tum.de
Rahma, Atamert, Chinmay Datar, and Felix Dietrich, “Training Hamiltonian Neural Networks without Backpropagation”, 2024. Machine Learning and the Physical Sciences
Workshop at the 38th conference on Neural Information Processing Systems (NeurIPS)
https://neurips.cc/virtual/2024/99994
https://www.tum.de/aktuelles/alle-meldungen/pressemitteilungen/details/neue-meth...
Felix Dietrich, Professor für Physics-enhanced Machine Learning
Andreas Heddergott / TUM
Andreas Heddergott / TUM; Verwendung frei für die Berichterstattung über die TUM bei Nennung des Copyrights.
Merkmale dieser Pressemitteilung:
Journalisten
Informationstechnik
überregional
Forschungsergebnisse, Wissenschaftliche Publikationen
Deutsch
Felix Dietrich, Professor für Physics-enhanced Machine Learning
Andreas Heddergott / TUM
Andreas Heddergott / TUM; Verwendung frei für die Berichterstattung über die TUM bei Nennung des Copyrights.
Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.
Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).
Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.
Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).
Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).
