idw – Informationsdienst Wissenschaft

Nachrichten, Termine, Experten

Grafik: idw-Logo
Grafik: idw-Logo

idw - Informationsdienst
Wissenschaft

Science Video Project
idw-Abo

idw-News App:

AppStore

Google Play Store



Instanz:
Teilen: 
20.03.2023 11:43

Digitale Restaurierung: KI-Algorithmus bringt Farbe in Schwarz-Weiß-Filme

Susanne Filzwieser Kommunikation und Marketing
Technische Universität Graz

    Die TU Graz entwickelte einen KI-basierten Algorithmus, der Schwarz-Weiß-Aufnahmen realitätsgetreu einfärbt. Besonders interessant ist das für die Restaurierung historischer Aufnahmen.

    In den Archiven dieser Welt lagern unzählige historische Aufnahmen in schwarz-weiß. Diese Kulturgüter und Zeitdokumente werden heute durch Digitalisierung konserviert und durch digitale Restaurierung (teilweise) verbessert. Schon seit den 1970er-Jahren gibt es Bemühungen, diese Filmaufnahmen zu kolorieren. Wirkliche Fortschritte gab es dabei aber nicht, zu hoch waren der Aufwand und die damit verbundenen Kosten für manuelle oder halbautomatische Kolorierungstechniken. Es ist zwar grundsätzlich möglich, Filme vollautomatisch einzufärben. Das hat aber den Nachteil, dass die Farben zwar vielleicht schön anzusehen, aber nicht realitätsgetreu sind.

    Genau da setzte das Projekt „RE:Color: Effiziente Färbung von Filmen in Kinoqualität basierend auf neuartigen Methoden des Maschinellen Lernens“ der TU Graz an: Informatiker*innen rund um Thomas Pock vom Institut für Maschinelles Sehen und Darstellen entwickelten zusammen mit der auf die Restauration von historischen Filmen spezialisierte Grazer Firma HS-ART (https://www.hs-art.com/) eine integrierte Softwareanwendung, die interaktive und automatisierte Einfärbetechniken mit Deep-Learning-Technologien kombiniert. Das Ergebnis ist ein Algorithmus für einen überwiegend automatischen, aber dennoch vollständig benutzergesteuerten Einfärbeprozess.

    Realitätsgetreue Farbgebung

    Laut Pock ist es wesentlich, dass der Mensch die Einfärbung beeinflussen kann: „Man braucht immer einen Menschen, der aus historischen Überlieferungen weiß, wie die Kleidung, die Fassaden, etc. damals ausgesehen haben. War die Soldatenuniform grün oder blau? Das kann kein Algorithmus entscheiden. Er kann aber daraus lernen.“ Der Algorithmus muss also mit einer ausreichend großen Sammlung an Trainingsmustern gefüttert werden, um das Einfärben von historischen Filmen dann automatisch zu übernehmen. „Es geht darum, mit möglichst wenig User-Input die Filme möglichst effizient einzufärben. Das kann so aussehen, dass der Mensch die Farbgebung für einen Filmframe vorgibt, und die Software dann die Einfärbung weiterer Frames übernimmt“, erklärt Pock. Diese zentrale Anforderung der nutzergeleiteten Steuerung wird nur dank vortrainierter selbstlernender neuronaler Netze erfüllt, die durch Benutzerinteraktion dynamisch beeinflusst werden können.

    Die Forschenden haben dafür verschiedene und neuartige Ansätze im Bereich der automatisierten Kolorierung analysiert, die auf Künstlicher Intelligenz basieren. Den effizientesten Ansatz haben sie dann zusammen mit den Entwicklern von HS-Art in einer Prototypanwendung implementiert und eine ausreichend leistungsfähige Sammlung von Trainingsmustern generiert. Dann erfolgte die Implementierung der menschengeleiteten Steuerung, um authentische und geeignete Farbschemata zu erhalten.

    Authentisches Filmrauschen

    Mit den entwickelten Algorithmen können die Filme extrem sauber restauriert und auch eingefärbt werden – das ist aber nicht immer unbedingt erwünscht. Pock: „Bei historischen Aufnahmen und Kinofilmen im allgemeinen braucht es das gewissen Rauschen, den sogenannten „Filmgrain“, sonst wirkt das für das Publikum nicht authentisch. Deshalb kann die Software dieses Rauschen nach dem Restaurieren und Einfärben auch wieder künstlich generieren und hinzufügen.“

    Der Kernalgorithmus wurde auf einer großen internationalen Fachtagung publiziert, der Quellencode ist frei zugänglich. Für den effizienten Einsatz ist aber eine darauf aufbauende Software nötig, die vom Projektpartner HS-Art entwickelt wurde und sich bereits in ihrem Produkt-Portfolio befindet: Der „Diamant-Film Colorizer“ kam beispielsweise in der ZDFzeit-Dokureihe „Hitlers Macht“ zur originalgetreuen Einfärbung historischer Aufnahmen zum Einsatz.


    Wissenschaftliche Ansprechpartner:

    Thomas POCK
    Univ.-Prof. Dipl.-Ing. Dr.techn.
    TU Graz | Institut für Maschinelles Sehen und Darstellen
    Tel.: +43 316 873 5056
    thomas.pock@tugraz.at


    Weitere Informationen:

    Showreel Diaman-Film Colorizer (YouTube)


    Bilder

    Merkmale dieser Pressemitteilung:
    Journalisten, Wissenschaftler
    Informationstechnik, Kulturwissenschaften, Kunst / Design
    überregional
    Forschungsprojekte, Kooperationen
    Deutsch


     

    Hilfe

    Die Suche / Erweiterte Suche im idw-Archiv
    Verknüpfungen

    Sie können Suchbegriffe mit und, oder und / oder nicht verknüpfen, z. B. Philo nicht logie.

    Klammern

    Verknüpfungen können Sie mit Klammern voneinander trennen, z. B. (Philo nicht logie) oder (Psycho und logie).

    Wortgruppen

    Zusammenhängende Worte werden als Wortgruppe gesucht, wenn Sie sie in Anführungsstriche setzen, z. B. „Bundesrepublik Deutschland“.

    Auswahlkriterien

    Die Erweiterte Suche können Sie auch nutzen, ohne Suchbegriffe einzugeben. Sie orientiert sich dann an den Kriterien, die Sie ausgewählt haben (z. B. nach dem Land oder dem Sachgebiet).

    Haben Sie in einer Kategorie kein Kriterium ausgewählt, wird die gesamte Kategorie durchsucht (z.B. alle Sachgebiete oder alle Länder).