idw – Informationsdienst Wissenschaft
Nachrichten, Termine, Experten
Nachrichten, Termine, Experten
idw - Informationsdienst
Wissenschaft
• Die Machine Vision & Learning Arbeitsgruppe an der LMU um den Informatiker Prof. Björn Ommer hat einen der leistungsfähigsten Algorithmen zur Bildsynthese entwickelt
• Das neue KI-Modell Stable Diffusion benötigt keinen Hochleistungsrechner und ist für alle Nutzer frei verfügbar
• Die Essenz aus Milliarden von Trainingsbildern wird von dem KI-Modell in wenigen Gigabyte zusammengefasst
In Sekundenschnelle aus Texten Bilder machen – und zwar mit einer herkömmlichen Grafikkarte und ohne Hochleistungsrechner. Das ermöglicht das neue KI-Modell Stable Diffusion. Den zugrundeliegenden Algorithmus hat die Machine Vision & Learning-Arbeitsgruppe um Prof. Björn Ommer (Ludwig-Maximilians-Universität München) entwickelt.
„Selbst Laien ohne künstlerische Fähigkeiten, besondere Computerkenntnisse und Computerhardware erhalten mit dem neuen Modell ein effektives Tool, mit dem ihnen die Barriere genommen wird, ihre Kreativität zu entfalten, indem der Computer Bilder auf einfaches Zurufen generiert“, sagt Ommer. Aber auch erfahrene Künstler können neue Ideen mit Stable Diffusion schnell in eine Vielzahl von grafischen Entwürfen verwandeln. Ein solches KI-basiertes Werkzeug kann nach Überzeugung der Forschenden damit zukünftig die Möglichkeiten der kreativen Bilderzeugung durch Pinsel oder Photoshop so grundsätzlich erweitern, wie die computerbasierte Textverarbeitung es mit dem Schreiben mit Stift und Schreibmaschine gemacht hat.
Bei ihrem Vorhaben wurden die LMU-Wissenschaftler vom Start-up Stability.Ai unterstützt, auf dessen Servern das KI-Modell trainiert wurde. „Dieses Mehr an Rechenpower und Trainingsbeispielen hat unser KI-Modell in einen der leistungsfähigsten Algorithmen zur Bildsynthese verwandelt“, freut sich der Informatiker.
Besonders an dem entwickelten Ansatz ist, dass das trainierte Modell gleichzeitig leistungsfähig und doch so kompakt ist, dass es auf einer herkömmlichen Grafikkarte läuft und keinen Hochleistungsrechner mehr benötigt, wie dies bislang für die Bildsynthese der Fall war. Dazu lernt die künstliche Intelligenz, die Essenz aus Milliarden von Trainingsbildern in einem nur wenige Gigabyte großen KI-Modell zusammenzufassen. „Wenn eine solche KI wirklich verstanden hat, was ein Auto ausmacht oder welche Merkmale für einen künstlerischen Stil charakteristisch sind, sollte sie genau diese wesentlichen Merkmale erfasst haben und idealerweise weitere Beispiele kreieren können, wie es ein Schüler eines alten Meisters vermag“, erklärt Ommer. Für das Ziel der LMU-Wissenschaftler, den Computer das Sehen – also das inhaltliche Verstehen von Bildern – lernen zu lassen ist dies ein weiterer wichtiger Schritt, der die Grundlagenforschung im maschinellen Lernen und der Computer Vision weiter voranbringt.
Das trainierte Modell wurde kürzlich unter der „CreativeML Open RAIL-M“ Lizenz (https://huggingface.co/spaces/CompVis/stable-diffusion-license) frei zur Verfügung gestellt, um so die weitere Erforschung und Anwendung dieser Technologie in der Breite voranzutreiben. „Wir sind gespannt, was mit unserem aktuellen Modell ,gebaut‘ wird und welche weiteren Arbeiten aus der offenen, kollaborativen Forschung hervorgehen werden", meint Doktorand Robin Rombach.
Prof. Dr. Björn Ommer
Machine Vision & Learning Group
Tel.(office): +49 (0)89/2180-73431
b.ommer@lmu.de
https://ommer-lab.com/
Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer: High-Resolution Image Synthesis with Latent Diffusion Models, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2022
Projektwebseite: https://ommer-lab.com/research/latent-diffusion-models/
Aus dem Text "Happy vegetables waiting for supper" generiertes Bild.
Machine Vision & Learning
Machine Vision & Learning-Arbeitsgruppe
Criteria of this press release:
Journalists
Cultural sciences, Information technology
transregional, national
Research results
German
You can combine search terms with and, or and/or not, e.g. Philo not logy.
You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).
Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.
You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).
If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).
