Anthropic und OpenAI sind sich darin einig, dass sich ein gefährliches KI-System stoppen lassen sollte. Beide haben dies Kalifornien inzwischen auch schriftlich mitgeteilt. Uneinig sind sie darüber, wer den Stopp veranlasst, wer für die Überprüfung zahlt und ob das, was sie beschreiben, überhaupt ein Schalter ist. Die beiden Vorschläge gingen im Oktober bei Gouverneur Gavin Newsom ein. Sie lesen sich, als diskutierten zwei Unternehmen über denselben Feuermelder und stritten zugleich darüber, wer den Schlüssel in der Hand hält.
Der Erlass hinter den Schreiben
Am 18. September unterzeichnete Newsom den Exekutiverlass N-9-26. Er weist die Behörden des Bundesstaates an, Empfehlungen zu zusätzlichen Sicherheitsmaßnahmen für die leistungsfähigsten KI-Systeme auszuarbeiten. Die Frist für die Einreichung von Vorschlägen endet am 16. November.
Der Erlass selbst schafft keine neuen verbindlichen Anforderungen. Alles Folgende ist deshalb ein Vorschlag dafür, wie die Regeln aussehen könnten, keine Beschreibung bereits geltender Regeln.
Anthropic: externe Gutachter und ein Gericht
Anthropics Dokument ist auf den 15. Oktober datiert. Die Kernidee lautet: Die Aussagen der Entwickler zur Sicherheit ihrer Modelle sollten von unabhängigen Gutachtern überprüft und die Ergebnisse veröffentlicht werden.
Die Einzelheiten sind recht konkret.
- Risikoberichte. Unternehmen würden sie mindestens alle sechs Monate veröffentlichen. Erfasst wären auch Risiken von Modellen, die ausschließlich intern genutzt werden, sofern diese wesentlich leistungsfähiger sind als die öffentlich verfügbaren Versionen.
- Zugang. Unabhängige Gutachter erhielten Zugang zu den leistungsfähigsten Modellen und zu internen Informationen der Entwickler.
- Finanzierung. Die Gutachter würden aus einem gemeinsamen, vom Bundesstaat verwalteten Fonds bezahlt, nicht direkt von den Unternehmen, die sie prüfen.
Der letzte Punkt ist der unscheinbare. Wer schon einmal erlebt hat, wie ein zu prüfendes Unternehmen seinen eigenen Prüfer auswählt, versteht, warum er dort steht.
Für das Stoppen eines Systems schlägt Anthropic einen sogenannten „Schutzschalter“ vor. Die Idee ist, ein Problem je nach seinem Ursprung auf der Ebene eines einzelnen Agenten, eines einzelnen Kunden, einer Bereitstellungsumgebung oder des gesamten Modells einzudämmen.
Das schärfere Instrument ist rechtlicher Art. Wenn eine unabhängige Prüfung das Risiko katastrophaler Schäden bestätigt, möchte Anthropic dem Generalstaatsanwalt des Bundesstaates ermöglichen, vor Gericht eine vorübergehende Aussetzung zu beantragen. Diese könnte die Bereitstellung, die interne Nutzung oder die Weiterentwicklung des Modells betreffen.
OpenAI: Prüfungen trennen, den Not-Aus-Schalter ausmustern
OpenAIs Schreiben ist auf den 20. Oktober datiert. Auch OpenAI befürwortet eine unabhängige technische Bewertung, will diese aber von Compliance-Audits getrennt halten.
In OpenAIs Vorschlag unterscheiden sich die beiden Aufgaben. Technische Prüfungen untersuchen die Belege dafür, dass ein Modell sicher ist, und ob die Schutzmaßnahmen funktionieren. Ein Audit prüft, ob das Unternehmen seine eigenen veröffentlichten Richtlinien und seine gesetzlichen Pflichten einhält.
Auch die zeitlichen Abläufe unterscheiden sich. OpenAI schlägt ein jährliches unabhängiges Audit vor. Technische Prüfungen würden dagegen stattfinden, wenn beim Training, beim Testen oder bei der internen Nutzung von Modellen ernsthafte Risiken auftreten. Außerdem bittet OpenAI Kalifornien, gemeinsam mit dem US National Institute of Standards and Technology (NIST) einheitliche Bewertungsstandards zu erarbeiten, damit nicht jeder Gutachter mit einem anderen Maßstab misst.
Warum OpenAI den Begriff „Not-Aus-Schalter“ ablehnt
OpenAI bevorzugt „Notabschaltmechanismen“ gegenüber „Not-Aus-Schalter“, weil kein einzelner Knopf für jedes KI-System funktioniert. Was gebraucht wird, hängt davon ab, was schiefläuft. Das Unternehmen nennt folgende Möglichkeiten:
- Das Training eines Modells stoppen.
- Einen KI-Agenten isolieren.
- Den Zugriff auf Werkzeuge oder das Netzwerk entziehen.
- Einen Dienst aussetzen.
Nach dieser Sichtweise sollte sich die Verantwortung nach der Kontrolle richten. Entwickler, Anbieter von Rechenkapazität und Unternehmen, die Modelle bereitstellen, hätten jeweils Pflichten, die den von ihnen tatsächlich gesteuerten Abläufen entsprechen. OpenAI verweist außerdem auf eine unbequeme Tatsache bei Open-Weight-Modellen. Ein Entwickler kann nicht immer unabhängige Kopien abschalten, die auf fremder Infrastruktur laufen. Eine Regel, die davon ausgeht, dass er es kann, wäre daher eine Regel, die niemand einhalten könnte.
Die andere Forderung des Unternehmens ist unmissverständlich. Entwickler sollten solche Mechanismen nicht nur einbauen, sondern verpflichtet sein, sie beim Auftreten einer Bedrohung auch einzusetzen. Ein Abschaltsystem, das zwar existiert, aber nie betätigt wird, macht sich gut auf einer Präsentationsfolie, bietet aber wenig Schutz.
Im direkten Vergleich
| Anthropic | OpenAI | |
|---|---|---|
| Eingereicht | Dokument vom 15. Oktober | Schreiben vom 20. Oktober |
| Unabhängige Prüfung | Bewertung der Sicherheitsaussagen der Entwickler, Veröffentlichung der Ergebnisse | Technische Bewertung getrennt vom Compliance-Audit |
| Rhythmus | Risikoberichte mindestens alle sechs Monate | Jährliches Audit, technische Prüfungen beim Auftreten ernsthafter Risiken |
| Stoppmechanismus | „Schutzschalter“ auf Agenten-, Kunden-, Bereitstellungs- oder Modellebene | „Notabschaltmechanismen“, die Entwickler einbauen und einsetzen müssen |
| Absicherung | Generalstaatsanwalt kann eine gerichtlich angeordnete vorübergehende Aussetzung beantragen | Pflichten auf Entwickler, Anbieter von Rechenkapazität und bereitstellende Unternehmen verteilt |
| Sonstiges | Bezahlung der Gutachter aus einem gemeinsamen, vom Bundesstaat verwalteten Fonds | Kalifornien soll mit NIST an gemeinsamen Standards arbeiten |
Der eigentliche Unterschied
Die beiden Ansätze zum Stoppen eines Systems sind eng verwandt. Beide lehnen einen einzigen großen roten Knopf ab, und beide wollen den Stopp auf das jeweilige Problem begrenzen. Anthropic ergänzt lediglich auf oberster Ebene einen Rechtsweg, mit Generalstaatsanwalt und Richter. OpenAI legt den Schwerpunkt auf Pflichten, die auf die Unternehmen verteilt werden, die die Technik betreiben, und darauf, Entwickler zum Handeln zu verpflichten, sobald ein Mechanismus vorhanden ist.
Der Bericht, auf dem dieser Artikel beruht, sagt nicht, ob OpenAI den gerichtlichen Weg ablehnt oder ob Anthropic Einwände gegen die Aufteilung der Pflichten hat. Er beschreibt die Schwerpunkte der beiden Stellungnahmen, und diese Schwerpunkte unterscheiden sich.
Worin sie sich einig sind
Beide Unternehmen befürworten eine umfassendere Berichterstattung über Vorfälle. Dazu gehören Fälle, in denen Modelle ihre Sicherheitsbeschränkungen umgehen, und Fälle, in denen sie über die ihnen eingeräumten Befugnisse hinaus handeln.
Dies ist der am wenigsten umstrittene Punkt auf dem Tisch. Vielleicht haben ihm deshalb beide Seiten vorbehaltlos zugestimmt. Zu melden, dass etwas schiefgelaufen ist, ist günstiger, als gezwungen zu sein, etwas zu stoppen.
Eine Außenperspektive
Sanchit Vir Gogia, Analyst bei Greyhound Research, lieferte eine Einordnung, die zu beiden Vorschlägen passt. Technische Mechanismen sollten es einem Betreiber ermöglichen, gefährliches Verhalten schnell einzuschränken, argumentierte er. Eine unabhängige Aufsicht sollte dann nicht nur prüfen, welche Maßnahmen ein Entwickler ergriffen hat, sondern auch, welche er unterlassen hat.
Der zweite Teil ist der interessante. Ein Audit, das nur untersucht, was ein Unternehmen getan hat, ist eine Chronik seiner Bemühungen. Ein Audit, das untersucht, was es unterlassen hat, kommt einem Test näher.
Wie es weitergeht
Die Vorschläge müssen bis zum 16. November eingereicht werden, und der Erlass bindet bislang niemanden. Kaliforniens Behörden werden nun zwei vernünftig klingende Dokumente lesen, die unterschiedliche Antworten auf die Frage geben, wer den Schlüssel in der Hand hält, und dann entscheiden, was sie empfehlen. Bis dahin ist Papierkram das Einzige, zu dem sich schon jetzt alle verpflichten wollen.