Ein Modell kann wertvolles Verhalten preisgeben, ohne dass jemand in seine Server einbricht. OpenAI gibt an, eine Kampagne entdeckt zu haben, die seine Modelle dazu bringen sollte, geschütztes Reasoning offenzulegen. Das Hauptcluster der Aktivität steht in Verbindung mit Personen, die Moonshot AI zugeordnet sind, dem Unternehmen hinter dem Assistenten Kimi.
Was OpenAI zufolge geschah
Die Aktivität begann Anfang Juli. Auf dem Höhepunkt verzeichnete OpenAI innerhalb von zwei Tagen 16.000 Anfragen von mehr als 4.000 Konten. Das Unternehmen fand außerdem verwandte Aktivität in einem Cluster von mehr als 15.000 Nutzern und erklärte, die Kampagne bis zum 28. Juli beendet zu haben.
OpenAI beschrieb die Operation als „adversarial distillation“. Der Begriff meint, die Ausgaben eines Modells oder sein Reasoning zu nutzen, um ein anderes zu trainieren oder zu verbessern. Der praktische Reiz liegt auf der Hand: Ein Entwickler kann womöglich einen Teil der Fähigkeiten eines Modells nachbilden, ohne die vollen Kosten einer eigenständigen Entwicklung zu tragen.
Kein Einbruch in Server nötig
OpenAI erklärte, die Kampagne habe keine Verschlüsselung, Datenbanken oder Gesprächsspeicher aufgebrochen. Stattdessen manipulierten die Verantwortlichen die Interaktionen mit den Modellen, um geschütztes internes Reasoning in für Nutzer sichtbaren Antworten erscheinen zu lassen.
Dieser Unterschied zählt. Das gemeldete Ziel waren nicht gespeicherte Gesprächsdaten, sondern Informationen, die die Modelle unter sorgfältig gestalteten Prompts erzeugen könnten. Nach Einschätzung von OpenAI könnte der Zugang zu solchen Ausgaben einem anderen Entwickler helfen, fortgeschrittene Fähigkeiten nachzuahmen, ohne eigene Schutzmaßnahmen zu entwickeln. Das Unternehmen äußerte außerdem Bedenken zur nationalen Sicherheit und zur Kontrolle leistungsfähiger KI-Systeme.
Das sind die von OpenAI geäußerten Bedenken, kein Beweis dafür, dass jedes Konto im weiteren Aktivitätscluster an derselben Operation beteiligt war. Das Unternehmen erklärte, es könne nicht feststellen, ob ein einzelner Akteur für die gesamte beobachtete Aktivität verantwortlich war. Die Hauptkonzentration schrieb es Personen zu, die mit Moonshot AI verbunden sind.
Ein weiterer Streit um die Destillation von Modellen
Der Vorwurf folgt auf einen jüngeren Streit, in dem Anthropic mehreren chinesischen Entwicklern, darunter Moonshot AI und Alibaba, vorwarf, sein Modell Claude ohne Genehmigung zum Training eigener Systeme verwendet zu haben. Die beiden Fälle betreffen unterschiedliche Unternehmen und Modelle, rücken aber dieselbe Praxis in den Blick: den Zugang zum Modell eines Rivalen als Quelle für Trainingsmaterial zu nutzen.
OpenAI erklärte, Informationen zu dieser Kampagne über das Frontier Model Forum und über behördliche Kanäle für den Informationsaustausch an andere Entwickler weitergegeben zu haben. Der Bericht beschreibt nicht, welche weiteren Maßnahmen diese Gruppen oder Behörden ergriffen haben.
Destillation kann ein legitimer Weg sein, kleinere oder effizientere Modelle zu bauen. Der Streit geht hier darum, woher das Trainingsmaterial kommt, wozu ein Modell gebracht wird, etwas preiszugeben, und ob das entstehende System Fähigkeiten übernimmt, ohne die Schutzmaßnahmen, die sein Entwickler dafür gebaut hat. In diesem Fall sagt OpenAI, es habe die Aktivität gestoppt. Die schwierigere Frage lautet, wie weit sich ein Modell zum Lehren verleiten lässt, bevor es jemand bemerkt.