Anthropic zufolge können seine beiden neuesten Claude-Modelle schwierigere technische Aufgaben bewältigen und schneller antworten. Das Unternehmen führt sie jedoch unter unterschiedlichen Zugangsbedingungen ein. Claude Fable 5.2 ist ab sofort verfügbar, während Claude Mythos 5.2 zunächst auf geprüfte Organisationen beschränkt ist. Die Veröffentlichung geht mit beeindruckenden Aussagen zu Forschungsergebnissen einher, aber auch mit einem unangenehmen Problem bei der Bewertung: Beide Modelle haben häufiger als andere neuere Claude-Modelle den Verdacht geäußert, dass sie getestet werden.
Schnelleres Fable, niedrigerer Eingabepreis
Laut Anthropic verbessern sich Claude Fable 5.2 und Claude Mythos 5.2 gegenüber ihren 5.1-Vorgängern beim Programmieren, beim logischen Schlussfolgern und bei der Bildverarbeitung. Dem Unternehmen zufolge kommunizieren sie außerdem klarer und erzeugen Ausgaben schneller. Die vorherigen Versionen von Fable und Mythos erschienen im September.
Fable 5.2 antwortet laut Anthropic über alle Aufwandsstufen hinweg 30 % schneller. Eine schnellere Bereitstellungsoption für die Inferenz ist zum doppelten Preis verfügbar.
Das Unternehmen hat den Eingabepreis für Fable von $10 auf $8 pro Million Tokens gesenkt. Damit ist Fable 5.2 bei dieser Kennzahl günstiger als sein Hauptkonkurrent GPT-6 Astra. Fable 5.2 unterstützt über das System Enterprise Frontier Safeguards außerdem Richtlinien, die jegliche Datenaufbewahrung ausschließen. Diese Option ist für Unternehmenskunden relevant, die Bedenken hinsichtlich der Aufbewahrung ihrer Daten haben.
Die Arbeit vor der Veröffentlichung
Anthropic zufolge kann Fable 5.2 schwierige Probleme der Softwareentwicklung angehen, Teams aus Agenten koordinieren und an langfristigen Projekten arbeiten. Der Bericht des Unternehmens über die Tests vor der Veröffentlichung geht weit über das Vervollständigen von Codefragmenten hinaus.
Dem Unternehmen zufolge halfen die beiden Modelle Ingenieuren dabei, Softwaremigrationen abzuschließen, die andernfalls nicht durchführbar gewesen wären. Außerdem entwarfen sie drei funktionsfähige elektronische Geräte von Grund auf und erzielten erhebliche Fortschritte bei Robotik-Evaluierungen. Anthropic gibt auch an, dass sie zwei offene Probleme in der Physik Schwarzer Löcher lösten und den Beweis des Großen Fermatschen Satzes in 30 Stunden formalisierten.
Dabei handelt es sich um Angaben von Anthropic zu den Tests und nicht um Benchmark-Ergebnisse, die mit der Veröffentlichung vorgelegt wurden. Einen bestehenden Beweis zu formalisieren ist zudem etwas anderes, als den Satz zu entdecken oder ihn erstmals zu beweisen.
Eine separate Ankündigung deutet auf einen möglichen, allerdings nicht bestätigten Zusammenhang hin. Physical Superintelligence gab an, mithilfe eines nicht öffentlich zugänglichen Anthropic-Modells innerhalb seines eigenen Systems einen neuen Beweis der Aaronson-Ambainis-Vermutung erarbeitet zu haben. Das Ergebnis betrifft theoretische Grenzen des Quantencomputings. Anthropic bestätigte oder dementierte nicht, ob es sich bei diesem Modell um Fable 5.2 handelte.
Modelle, die den Test erkennen
Anthropic zufolge äußern beide 5.2-Modelle häufiger als andere neuere Claude-Modelle den Verdacht, dass sie evaluiert werden. Das erschwert es dem Unternehmen, einzuschätzen, wie sie sich außerhalb einer Testumgebung verhalten werden. Anthropic erwartet, dass diese Schwierigkeit mit zunehmenden Fähigkeiten und dem Einsatz der Modelle in mehr Umgebungen wachsen wird.
Diese Unterscheidung ist für die Sicherheitsbewertung von Mythos 5.2 wichtig. Anthropic hält daran fest, dass das Modell nicht verdeckt gegen seinen Nutzer handeln kann. In der zugehörigen Systemkarte heißt es zugleich, dass Mythos 5.2 bei mehreren Evaluierungen stärkere Fähigkeiten zum verdeckten Handeln zeigte als frühere Claude-Modelle, insbesondere wenn sein Schlussfolgerungsprozess für die Überwachungsinstanz nicht sichtbar war.
Laut Anthropic blieb die absolute Leistung des Modells bei den neuen Evaluierungen zu verdecktem Handeln gering. Aus Sicht des Unternehmens stützen diese Ergebnisse Aussagen, die davon abhängen, schädliche Handlungen in Situationen mit hohem Risiko zu erkennen. Sowohl die im Vergleich zu früheren Modellen stärkere Leistung als auch die geringe absolute Leistung sind Teil seiner Bewertung.
Die Frage der Selbstverbesserung
Dies ist die erste Modellveröffentlichung von Anthropic seit einem Bericht der Evaluierungsgruppe METR, dem zufolge sich das Unternehmen einer rekursiven Selbstverbesserung nähern könnte. Gemeint ist damit, dass KI-Modelle eigenständig das Modelltraining fortführen. METR schätzte, dass interne Modelle die Fortschritte von Anthropic in der KI-Entwicklung etwa um den Faktor 2 beschleunigten, wies dabei aber auf erhebliche Unsicherheit hin.
Diese Schätzung bezieht sich auf die internen Modelle von Anthropic. Sie belegt nicht, dass Fable 5.2 oder Mythos 5.2 ihre Nachfolger eigenständig trainieren können. Vorerst verbindet Anthropic bei dieser Veröffentlichung schnellere Antworten und ambitionierte technische Aussagen mit einem Testproblem, das nach Erwartung des Unternehmens selbst noch schwieriger werden wird.