idw – Informationsdienst Wissenschaft

Nachrichten, Termine, Experten

Grafik: idw-Logo
Grafik: idw-Logo

idw - Informationsdienst
Wissenschaft

Science Video Project
idw-Abo

idw-News App:

AppStore

Google Play Store



Instance:
Share on: 
12/10/2024 08:36

Sichere generative KI: Gezielte Anreize für Entwicklung

Fabian Oppel Presse und Redaktion
ZEW – Leibniz-Zentrum für Europäische Wirtschaftsforschung GmbH Mannheim

    Ende November feierte ChatGPT seinen zweiten Geburtstag. Längst nutzen Unternehmen generative künstliche Intelligenz (KI), etwa in Form von Chatbots als digitale Assistenten. Von stetig leistungsfähigerer generativer KI können aber auch Gefahren ausgehen, etwa durch gefälschte Bilder oder andere Falschinformationen, die in Desinformationskampagnen – zum Beispiel vor Wahlen – gezielt gestreut werden. ZEW-Wissenschaftler veröffentlichen deshalb nun einen Vorschlag für ein „Safe Generative AI Innovation Program“. Damit könnte die EU gezielt wirtschaftliche Anreize dafür setzen, dass sicherere generative KI-Modelle verfügbar werden.

    „Bei generativer KI beobachten wir ein Marktversagen. Entwickler können aktuell erhebliche Erträge durch leistungsfähigere Modelle generieren. Die Kosten für die gesellschaftlichen Risiken durch generative KI tragen sie jedoch nicht“, sagt Dr. Dominik Rehse, Leiter der ZEW-Nachwuchsforschungsgruppe „Design digitaler Märkte“ und Koautor des Konzepts. „Um das auszugleichen, schlagen wir ein neues EU-Förderprogramm vor. Es soll explizit Anreize zur Entwicklung sicherer generativer KI schaffen. Denn die Sicherheit dieser Systeme stellt eine sozial erwünschte Innovation dar, die einzelne Entwicklerteams bislang nicht ausreichend bereitstellen. Ein ähnliches Problem existiert zum Beispiel bei der Entwicklung mancher Impfstoffe, bei denen solche Förderprogramme bereits erfolgreich angewendet wurden.“

    Anreize durch vergütete Meilensteine

    Interessierte Entwickler/innen nehmen dafür an einem von der EU ausgeschriebenen und finanzierten Wettbewerb teil. In Etappen sollen Systeme entwickelt werden, die bestimmte Sicherheits- und weitere Leistungskriterien erfüllen. Wird ein Meilenstein erreicht, dann erhalten die entsprechenden Entwickler vorher festgelegte Geldbeträge.

    Dieses Anreizsystem bietet gleich mehrere Vorteile. So werden die Nachfrageunsicherheiten auf Unternehmensseite reduziert: Entwicklerunternehmen wissen von Anfang an, dass sich der Aufwand für die Innovation auch lohnt. Gleichzeitig gibt die EU keine konkreten Technologien vor, sondern bleibt offen und macht wenige technische Vorgaben. Es geht also darum, möglichst effizient die in der Ausschreibung definierten Ziele zu erreichen. Dadurch bleibt auch das Erbringen der Innovationsleistung den Entwicklerteams überlassen.

    „Das System bringt private Anreize und öffentlichen Nutzen in Einklang. Durch die Einführung solcher Anreizmechanismen hat die EU die Möglichkeit, gezielter als bisher Innovationen zu entwickeln. Sie könnte damit auch eine Nische im Markt für generative KI besetzen, in dem sie bislang nur eine geringfügige Rolle spielt“, schätzt Mitautor Sebastian Valet.

    Vorschlag weiter diskutieren

    Damit ein solches System funktioniert, braucht es zunächst sorgsam definierte Sicherheits- und andere Leistungskennzahlen. Diese müssen möglichst robust und nicht manipulierbar sein. Robustheit dürfte sich vor allem durch den Einsatz von nachvollziehbaren Tests ergeben, bei denen die Öffentlichkeit generative KI-Algorithmen entweder zu Fehlverhalten oder zu besonders guter Leistung führen soll. Dafür gibt es bereits einige etablierte und jüngst vorgeschlagene Herangehensweisen. Das Ergebnis ist meist eine recht robuste Rangfolge der sichersten bzw. leistungsfähigsten Algorithmen.

    Ebenfalls muss festgelegt werden, wie hoch die jeweilige Belohnung für einen erreichten Meilenstein ist. Das Ziel dabei muss sein, den Betrag zu finden, ab dem sich die Anstrengungen für die Entwicklerunternehmen lohnen. Um den Betrag zu bestimmen, können die Erwartungen der Teilnehmenden an die notwendige Belohnung abgefragt werden. Es gibt innovative Methoden aus der ökonomischen Forschung, die Anreize für eine wahrheitsgemäße Angabe von Belohnungserwartungen setzen, sodass die Antworten valide sind.

    „Durch sorgfältige Planung lassen sich absehbare Probleme entschärfen. Aufgrund der großen gesellschaftlichen Bedeutung sicherer generativer KI sollte Pragmatismus allerdings vor Perfektion stehen“, so Koautor Johannes Walter.


    Contact for scientific information:

    Dr. Dominik Rehse
    Leiter der ZEW-Nachwuchsforschungsgruppe „Design digitaler Märkte“
    Tel.: +49 (0)621 1235-378
    E-Mail: dominik.rehse@zew.de


    Original publication:

    https://ftp.zew.de/pub/zew-docs/policybrief/en/pb22-24.pdf


    Images

    Criteria of this press release:
    Business and commerce, Journalists, all interested persons
    Economics / business administration, Information technology
    transregional, national
    Research results, Scientific Publications
    German


     

    Help

    Search / advanced search of the idw archives
    Combination of search terms

    You can combine search terms with and, or and/or not, e.g. Philo not logy.

    Brackets

    You can use brackets to separate combinations from each other, e.g. (Philo not logy) or (Psycho and logy).

    Phrases

    Coherent groups of words will be located as complete phrases if you put them into quotation marks, e.g. “Federal Republic of Germany”.

    Selection criteria

    You can also use the advanced search without entering search terms. It will then follow the criteria you have selected (e.g. country or subject area).

    If you have not selected any criteria in a given category, the entire category will be searched (e.g. all subject areas or all countries).