Risikofaktoren in Börsengangsunterlagen lesen sich meist wie Wetterwarnungen: Sie decken alles ab und legen sich auf nichts fest. Der jüngste Risikohinweis von Anthropic ist konkreter. In aktualisierten IPO-Unterlagen erklärt das Unternehmen Investoren, dass es sich bald dem Punkt nähern könnte, an dem KI die Entwicklung besserer KI beschleunigt – und dass es womöglich nicht bemerkt, wann dieser Punkt erreicht ist. Die Versuchung, „Skynet“ zu sagen, ist groß, doch man sollte ihr widerstehen, denn das Unternehmen selbst formuliert vorsichtiger als die Schlagzeilen.
Ein Risiko, das endlich einen Namen hat
Dem Bericht zufolge hat Anthropic das Risiko rekursiver Selbstverbesserung (RSI) damit erstmals ausführlich beschrieben. RSI ist eine Rückkopplungsschleife. Ein KI-System hilft dabei, bessere Modelle zu entwickeln, diese Modelle helfen wiederum dabei, noch bessere zu entwickeln, und der Fortschritt beschleunigt sich von selbst.
Die Idee gilt meist als möglicher Wendepunkt für das Forschungsgebiet und hat ungefähr ebenso viele Befürworter wie Kritiker.
- Die Optimisten erwarten einen sprunghaften Anstieg der Produktivität, wissenschaftliche Entdeckungen und die Automatisierung der Forschung selbst.
- Die Pessimisten befürchten, dass sich selbst verbessernde Systeme schneller vorankommen könnten, als Menschen ihre Sicherheit gewährleisten können.
Die Unterlagen von Anthropic erkennen beide Seiten an. Sie schlagen sich auf keine Seite.
Einiges davon setzt Anthropic bereits um
Das konkreteste Eingeständnis ist, dass diese Schleife nicht hypothetisch ist. Das Unternehmen gibt an, KI bereits in der eigenen Forschung und bei der Entwicklung neuer Modelle einzusetzen.
Genau diese Praxis könnte nach eigener Darstellung des Unternehmens dazu führen, dass die Fähigkeiten schneller wachsen, als Entwickler Sicherheit, Zuverlässigkeit und die Ausrichtung an menschlichen Zielen überprüfen können. Werkzeug und Gefahr sind ein und dasselbe. Das ist in der Technologie nicht ungewöhnlich, wird Investoren aber selten so unverblümt dargelegt.
Der Sprung, den man nicht sieht
Dann kommt der unangenehme Teil. Anthropic erklärt, dass es große Sprünge bei den Fähigkeiten seiner Modelle nicht immer sofort bemerkt hat. Außerdem könnten künftige Beschleunigungen erst im Nachhinein sichtbar werden.
Ein Risikohinweis, dessen zentrale Aussage lautet, dass das Unternehmen das Risiko womöglich nicht kommen sieht, ist selten. Das ist ehrlich und nicht besonders beruhigend.
Eine selbst gesetzte Schwelle
Den Unterlagen zufolge weisen interne Bewertungen und Prognosen für künftige Modelle auf eine reale Möglichkeit hin. In naher Zukunft könnte das Unternehmen eine selbst gesetzte Schwelle erreichen, bei der es um stark beschleunigten, KI-getriebenen Fortschritt geht.
Anthropic betont dabei, dass bisher bei keinem seiner bestehenden Modelle festgestellt wurde, dass es dieses Kriterium erfüllt. Es geht also um die weitere Entwicklung, nicht um die Gegenwart. Zudem ist zu beachten, dass der Maßstab von Anthropic selbst stammt. Das Unternehmen hat die Grenze gezogen und teilt Investoren nun mit, dass es ihr bald nahe sein könnte.
Menschen bleiben vorerst Teil des Prozesses
Das Gegengewicht bildet eine Aussage zur Autonomie. Laut den Unterlagen erwartet Anthropic nicht, Claude in absehbarer Zukunft die vollständig autonome Konzeption und Entwicklung der nächsten Generationen von Spitzenmodellen ohne menschliche Aufsicht zu überlassen.
Die Formulierung „absehbare Zukunft“ muss hier einiges leisten, wie so oft. Dennoch unterscheidet sie ein Unternehmen, das KI intensiv in der Forschung einsetzt, von einem, das Menschen aus dem Prozess genommen hat. Die Unterlagen ordnen Anthropic der ersten Gruppe zu.
Was der Bericht nicht sagt
Diese Darstellung ist eine Zusammenfassung, und aus den Dokumenten selbst wird nicht ausführlich zitiert. Mehrere Angaben fehlen:
- wie die Schwelle definiert oder gemessen wird
- welche Bewertungen in die Prognosen einfließen
- was „in naher Zukunft“ in Monaten oder Jahren bedeutet
- welchen Anteil der Forschungs- und Entwicklungsarbeit von Anthropic KI heute übernimmt
Solange diese Details nicht öffentlich sind, ist die naheliegende Lesart die sicherste. Das Unternehmen sagt, dass es einem KI-beschleunigten Forschungsbetrieb näher ist als zuvor, dass es die Grenze noch nicht überschritten hat und dass es sie womöglich nicht bemerkt, wenn es sie überschreitet.
Risikohinweise vermitteln Lesern normalerweise die Gewissheit, dass die Unternehmensführung Probleme kommen sehen würde. Dieser hier räumt ein, dass sie das womöglich nicht tut. Das ist eine seltsame Art von Trost, aber zumindest ist sie ehrlich.