idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
Forschende der TU Graz, von Pro2Future und der Uni St. Gallen haben Methoden entwickelt, mit denen IoT-Geräte mit minimalem Speicher KI-Modelle ausführen können – etwa um Störungen bei der Positionsbestimmung zu korrigieren.
Künstliche Intelligenz gilt als rechen- und energieintensiv – eine Herausforderung für das Internet der Dinge, wo kleine, eingebettete Sensoren mit begrenzter Rechenleistung, wenig Speicher und kleinen Batterien auskommen müssen. Ein Forschungsteam des COMET-K1-Zentrums Pro2Future, der TU Graz und der Universität St. Gallen hat im Projekt E-MINDS Wege gefunden, wie KI auf kleinsten Geräten lokal und effizient ausgeführt werden kann – ohne auf externe Rechenleistung angewiesen zu sein. So ist es etwa gelungen, auf einem Ultrabreitband-Lokalisierungsgerät mit nur 4 Kilobyte Speicher spezialisierte KI-Modelle laufen zu lassen, die Störquellen aus Ortungsdaten herausrechnen.
Einige Tricks angewendet
„Natürlich laufen keine Large Language Models auf diesen Kleingeräten, sondern Modelle mit ganz spezifischen Aufgaben, beispielsweise um Entfernungen abschätzen zu können“, sagt Michael Krisper, Leiter des Projekts bei Pro2Future und Wissenschafter am Institut für Technische Informatik der TU Graz. „Aber auch diese Modelle muss man erst einmal klein genug bekommen. Das benötigt einige Tricks und genau mit solchen Tricks haben wir uns im Rahmen des Projekts beschäftigt.“
Dabei ist eine Art Baukasten aus verschiedenen Methoden entstanden, die in Kombination das gewünschte Ergebnis liefern. Eine davon ist die Aufteilung der Modelle und deren Orchestrierung. Statt eines Universalmodells stehen mehrere kleine, spezialisierte Modelle zur Verfügung. Bei der in E-MINDS untersuchten Lokalisierungstechnologie heißt das, ein Modell funktioniert bei Störungen durch Metallwände, ein anderes bei Störungen durch Menschen und noch eines bei Störungen durch Regale. Ein Orchestrierungsmodell auf dem jeweiligen Chip erkennt, welche Störung vorliegt und lädt innerhalb von rund 100 Millisekunden das passende KI-Modell vom Server, das den Störfaktor aus den Daten herausrechnen kann. Für Industrieanwendungen wie Lagerhallen wäre das schnell genug.
Falten, anpassen, stutzen
Eine weitere Methode des Baukastens sind Subspace-Configurable Networks (SCNs). Hierbei handelt es sich um Modelle, die sich je nach Daten-Input anpassen, statt für jede Input-Variante ein eigenes Modell zu haben. Diese SCNs kamen für Bilderkennungsaufgaben wie der Klassifizierung von Objekten zum Einsatz und erwiesen sich als äußerst produktiv. Bei Bildveränderungen oder auf IoT-Geräten getesteten Fruchtklassifizierungen gelang damit eine bis zu 7,8-mal schnellere Bildberechnung als über externe Ressourcen, obwohl die Modelle kleiner und energiesparender waren. Weitere Verkleinerungen gelangen durch eine Faltung der mathematischen Struktur des Modells, ohne zu viel Genauigkeit zu verlieren.
Gleiches galt bei den Techniken Quantisierung und Pruning. Bei der Quantisierung vereinfachten die Forschenden die Zahlen, mit denen das Modell rechnet: Statt Gleitkommazahlen wurden Ganzzahlen verwendet, was bei akzeptablen Genauigkeitsverlusten für die gewünschten Anwendungen wieder Energie und Rechenzeit sparte. Beim Pruning – auf Deutsch „stutzen“ oder „beschneiden“ – hingegen wird ein fertiges Modell unter die Lupe genommen und es werden jene Teile entfernt, die für das gewünschte Endergebnis nicht ins Gewicht fallen. Denn für das Erfüllen der Kernaufgabe sind viele Teile eines Modells verzichtbar. Wichtig war es für die Forschenden, bei allen Techniken die passende Balance zwischen Verkleinerung und verbleibender Genauigkeit zu finden. Neben der erfolgreichen Verkleinerung hat das Projektteam an der effizienten Bereitstellung, dem sogenannten Deployment, der KI-Modelle geforscht, damit diese schneller auf die Kleingeräte übertragen werden können.
Ergebnisse auf andere Bereiche umlegbar
Während der Fokus von E-MINDS auf der drahtlosen Ultrabreitband-Lokalisierung (Ultra-Wideband, UWB) lag, um etwa in der industriellen Automatisierung trotz Hindernissen und Interferenzen die exakte Position von Drohnen, Shuttles oder Robotern bestimmen zu können, sehen die Forschenden zahlreiche andere Anwendungsfelder. Beispielsweise als weitere Sicherheitsmaßnahme für schlüssellose Autoöffner, um bestimmen zu können, ob sich der Schlüssel wirklich beim Auto befindet und nicht nur jemand das Funksignal kopiert. Smarthome-Fernbedienungen hätten mit effizienten KI-Modellen eine wesentlich längere Batterielaufzeit und Büchereien könnten ihre Bücher tracken.
„Mit neuem Know-how und neuen Methoden haben wir im Projekt E-MINDS ein Fundament für zukünftige Produkte und Anwendungen gelegt“, sagt Michael Krisper. „Unser Projektteam hat sich hier perfekt ergänzt. Bei Pro2Future haben wir uns auf die eingebetteten Systeme und die Umsetzung auf der Hardware fokussiert, Olga Saukh hat mit Kolleg*innen am Institut für Technische Informatik an der TU Graz wichtige wissenschaftliche Grundlagen in den Bereichen Embedded Machine Learning erarbeitet und zu Methoden der Modelloptimierung beigetragen und Simon Mayer hat an der Universität St. Gallen wichtige Forschungsarbeit im Bereich Lokalisierung beigesteuert.“
Michael KRISPER
Dipl.-Ing. Dr.techn. BSc Ing.
TU Graz | Institut für Technische Informatik
Tel.: +43 664 785 176 23
michael.krisper@tugraz.at
Mit einigen Tricks laufen KI-Modelle auch auf ressourcenschwachen Geräten.
Source: Helmut Lunghammer
Copyright: Lunghammer - TU Graz
Criteria of this press release:
Business and commerce, Journalists, Scientists and scholars
Electrical engineering, Information technology, Traffic / transport
transregional, national
Research projects, Transfer of Science or Research
German
Mit einigen Tricks laufen KI-Modelle auch auf ressourcenschwachen Geräten.
Source: Helmut Lunghammer
Copyright: Lunghammer - TU Graz
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
