Wer für ein leistungsfähiges KI-Modell bezahlt, muss ein unangenehm hohes Maß an Vertrauen mitbringen. Man schickt einen Prompt, bekommt eine Antwort und vertraut einfach darauf, dass der Anbieter nicht stillschweigend ein günstigeres Modell eingesetzt hat, um Kosten zu sparen. Am Dienstag veröffentlichte Anthropic einen Blogbeitrag über FlashProve, ein Open-Source-System, das dieses blinde Vertrauen durch eine mathematische Garantie ersetzen soll.
Der altbekannte Lockvogeltrick
Forscher nennen das Konzept „beweisbare Inferenz“. Es funktioniert wie eine kryptografische E-Mail-Signatur, die bestätigt, dass eine Nachricht tatsächlich vom angegebenen Absender stammt. So können Nutzer überprüfen, ob eine Antwort wirklich von dem Modell stammt, das sie ihrer Meinung nach verwenden.
Interessant an FlashProve ist, wen das System als Verdächtigen betrachtet. Es schützt vor Betrügern, die ein Modell als ein anderes ausgeben – selbst wenn der Betrüger genau das KI-Labor ist, das das Modell entwickelt hat und betreibt.
Anreize zum Schummeln gibt es in beide Richtungen. Ein KI-Unternehmen könnte heimlich ein günstigeres Modell einsetzen, um Kosten zu sparen, oder ein teureres unterschieben, um seine Leistungsergebnisse künstlich in die Höhe zu treiben.
Auch Dritte stellen vollmundige, ungeprüfte Behauptungen auf. „Ein Entwickler könnte behaupten, seine Softwarebibliothek sei von einem führenden Modell für Cybersicherheit auf Schwachstellen geprüft worden, oder ein Unternehmen könnte behaupten, sein Geschäftsplan habe von einem geeigneten Modell grünes Licht erhalten“, schreiben die Forscher. „Wie kann ein Nutzer diese Behauptungen überprüfen?“
Fingerabdrücke ohne Gewichte
Die Überprüfung eines kommerziellen Modells ist schwierig, wenn das Unternehmen keinen Einblick in dessen Innenleben gewährt. FlashProve umgeht diese Geheimhaltung mit einigen praxisnahen Designentscheidungen:
- Öffentliche Modellfingerabdrücke: KI-Labore veröffentlichen für jedes von ihnen herausgegebene Modell einen kryptografischen Fingerabdruck, der später bestimmten Ausgaben zugeordnet und kryptografisch überprüft werden kann.
- Geschützte interne Gewichte: Die Fingerabdrücke legen die Gewichte eines Modells nicht offen, also die internen Zahlenwerte, die sein Verhalten bestimmen. Anbieter geschlossener Modelle wie Anthropic und OpenAI halten diese Zahlen geheim. So können Labore Fingerabdrücke für kommerzielle Modelle veröffentlichen, ohne ihren wertvollsten Vermögenswert preiszugeben.
- Prüfungen auf dem lokalen Gerät: Die Forscher haben das System bewusst schlank konzipiert, damit die Überprüfung auf einem lokalen Gerät erfolgen kann.
- Open-Source-Code: Zusammen mit der Ankündigung veröffentlichte das Team auf GitHub eine detaillierte technische Spezifikation und funktionsfähigen Code für verschiedene Bestandteile des Systems unter einer Open-Source-Lizenz.
Ein Lügendetektor wartet auf Freiwillige
Die Mathematik auszuarbeiten, ist der einfache Teil. Kommerzielle KI-Labore dazu zu bringen, sich freiwillig zu kryptografisch garantierter Ehrlichkeit zu verpflichten, ist eine ganz andere Sache.
Die Forschung an FlashProve läuft noch, und weder Anthropic noch irgendein anderes Labor plant derzeit den Einsatz. „Dieser Forschungsbeitrag soll Zwischenfortschritte vorstellen, kein abgeschlossenes Forschungsprogramm“, erklären die Forscher im Ankündigungsbeitrag. „Wir teilen dies ausdrücklich mit dem Ziel, dass andere sich unsere Arbeit ansehen, sie aufgreifen und verbessern.“
Anthropic hat der Branche die praxistauglichen Baupläne für einen Lügendetektortest an die Hand gegeben. Jetzt können alle beobachten, wer sich zuerst freiwillig anschließen lässt.