idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Selbst lernende (deep learning) Computersysteme sind den neuronalen Netzwerken des Gehirns nachempfunden. Sie verarbeiten sehr große Datenmengen und benötigen entsprechend viel Energie. „Es kostet mehrere Millionen Euro, solche Systeme auf die Dinge zu trainieren, bei denen sie später helfen sollen“, erklärt Dr. Anand Subramoney vom Institut für Neuroinformatik der Ruhr-Universität Bochum (RUB). Mithilfe des Förderprogrammes „KI-Starter“ des Ministeriums für Kultur und Wissenschaft des Landes NRW möchte der Nachwuchsforscher Lernalgorithmen entwickeln, mit denen solche Systeme energieeffizienter und kostengünstiger funktionieren sollen.
Dem Gehirn noch ähnlicher werden und so Energie sparen
Die entsprechende Rechentechnik soll sich noch stärker an der Arbeitsweise des Gehirns orientieren und um mehrere Größenordnungen weniger Energie benötigen als die bestehenden Modelle. „Existierende deep-learning-Systeme basieren auf mathematischen Grundlagen, durch die sie viele Rechnungen durchführen, die gar nicht notwendig sind“, erläutert der Wissenschaftler.
Normalerweise werden kontinuierlich alle vorhandenen Informationen in die nächste Rechenebene überführt und dort verarbeitet. „Ich möchte den Systemen beibringen, Informationen nur dann weiterzuschicken, wenn diese auch notwendig sind“, sagt der Forscher. So ähnlich funktioniere auch das Netzwerk der Neuronen im Gehirn. Ein Neuron werde nur aktiv, wenn eine wichtige Information weitergeleitet werden müsse. Danach ruhe das Neuron wieder. „Es feuern immer nur einzelne oder mehrere zusammengehörende Neuronen, aber nie alle gleichzeitig. Dadurch ist das Gehirn besonders energieeffizient“, führt Anand Subramoney aus. Dieses Prinzip möchte er auf KI-Systeme übertragen.
Als Rechengrundlage dafür verwendet der Informatiker dünn besetzte Matrizen. Eine Matrix ist ein Quadrat, das aus Zeilen und Spalten besteht und an jeder Position eine Zahl enthält. Bei dünn besetzten Matrizen befindet sich an den meisten Stellen eine Null. Da dort bei den weiteren Rechenschritten als Ergebnis wieder Null herauskommt, sind diese Nullen überflüssig. Deshalb möchte der Forscher einen Algorithmus verwenden, der nur diejenigen Positionen an die nächste Rechenebene weiterleitet, an denen andere Zahlen stehen.
„So werden nur die wenigen benötigten Botschaften weitergeleitet – und dies nicht gleichzeitig, sondern zeitkontinuierlich, wie im Gehirn. Dadurch geht die Übertragung der Daten auf die nächste Rechenebene schneller“, so der Nachwuchswissenschaftler. Zudem beabsichtigt er, die Algorithmen auf einer größeren Auswahl an Hardware funktionsfähig zu machen.
Sehr große deep-learning-Netzwerke können Dinge, auf die sie gar nicht trainiert worden sind.
Verwendung finden solche selbst lernenden Systeme zum Beispiel beim autonomen Fahren oder in der Landwirtschaft. Richtig interessant werde es laut Anand Subramoney jedoch bei besonders großen Netzwerken, denn diese zeigten ein ganz neues Verhalten. „Sehr große Modelle können Aufgaben lösen, die sie nie zuvor gesehen haben. Das können kleinere Systeme nicht. Es gibt ein Sprachmodell, das darauf trainiert worden ist, aus einem gegebenen Wort das nächste Wort vorherzusagen. Kann es auch. Aber obwohl es nie eine Mathematikaufgabe erhalten hat, ist es in der Lage, leichte Rechenaufgaben zu lösen. Wenn wir diese großen Modelle energieeffizient betreiben können, wird es bezahlbar, ihr Verhalten zu erforschen. Universitäten können sich so etwas in der Regel nicht leisten. Zugang zu solchen Modellen haben momentan nur große Unternehmen oder Stiftungen“, verdeutlicht der Wissenschaftler.
Förderung
Mit „KI-Starter“ fördert das Ministerium für Kultur und Wissenschaft des Landes NRW Dr. Anand Subramoney im Rahmen der Förderlinie „Künstliche Intelligenz/Maschinelles Lernen“ mit einer Summe von 195.000 Euro.
Dr. Anand Subramoney
Institut für Neuroinformatik
Ruhr-Universität Bochum
Tel.: +49 234 32 25567
E-Mail: anand.subramoney@ini.rub.de
Criteria of this press release:
Journalists
Information technology
transregional, national
Personnel announcements, Research projects
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
