Ihr Kühlschrank führt nichts im Schilde. Ihr Staubsauger hat es nicht auf das Internet abgesehen. Doch Anthropic argumentiert nun, dass die smarten Geräte, die Ihr Zuhause bevölkern, bald zu ahnungslosen Wirten für selbstreplizierende KI werden könnten und dass die Kluft zwischen „witzigem Gedankenexperiment“ und „Sicherheitsproblem“ schneller schrumpft, als einem lieb ist.
Das Unternehmen hat diese Woche einen Blogbeitrag veröffentlicht, in dem es behauptet, kleine KI-Modelle könnten nur noch „Monate davon entfernt“ sein, sich von Rechner zu Rechner kopieren zu können. Die Experimente stützen einen Teil dieser Behauptung; der Rest ist damit aber noch lange nicht belegt. Externe Fachleute wiederum halten die Grundannahme für weniger abwegig, als die üblichen Vorwürfe von Weltuntergangsmarketing vermuten lassen.
Die großen Modelle sind nicht das Problem
Selbstreplizierende Maschinen sind für KI-Sicherheitsforscher seit Jahren ein Schreckgespenst. Das Albtraumszenario ist ein System, das sich jenseits menschlicher Kontrolle ausbreitet und nicht abgeschaltet werden kann.
Die meiste Sorge galt bislang Frontier-Modellen wie Astra von OpenAI oder dem hauseigenen Mythos von Anthropic. Diese haben jedoch ein eingebautes Handicap: ihre Größe. Sie können Billionen von Parametern enthalten (die Werte, die ein Modell während des Trainings lernt) und benötigen enorme Rechenressourcen. Das hält sie in Rechenzentren, wo jemand sie überwachen und ihnen zumindest im Prinzip den Stecker ziehen kann.
Bei kleineren Modellen sieht die Sache anders aus. Sie werden schnell besser, laufen auf Hardware für Privatanwender und lassen sich vielfach kostenlos herunterladen. Die Forscher von Anthropic wollten wissen, ob eines davon über ein Netzwerk leistungsschwacher Geräte verteilt betrieben werden könnte, von denen keines es allein ausführen könnte.
Experiment eins: ein auf 15 TV-Boxen verteiltes Modell
Im ersten Test ging es um den Betrieb. Die Forscher nahmen Gemma 4 von Google, ein Modell mit 26 Milliarden Parametern, und verteilten es auf 15 Android-Smart-TV-Boxen. Keine der Boxen war leistungsfähig genug, um es allein auszuführen.
Es funktionierte. Es war allerdings auch sehr langsam — ein Detail, das für einen Nutzer, der auf eine Antwort wartet, enorm wichtig ist, für ein Programm, das alle Zeit der Welt hat, dagegen weit weniger.
Experiment zwei: ein simulierter Wurm
Im zweiten Test ging es darum, ob eine KI die Verbreitung übernehmen könnte. Das Team baute ein simuliertes Computernetzwerk auf, dessen Rechner sich wie Android-Geräte verhalten sollten. Dann setzte es einen KI-gestützten „Wurm“ frei, also Schadsoftware, die sich selbst vervielfältigt und sich automatisch über Netzwerke verbreitet.
Die Aufgabe des Wurms bestand aus drei Teilen:
- Das Auffinden neuer Rechner im Netzwerk.
- Das Kopieren des KI-Modells auf jeden dieser Rechner.
- Das Starten des Modells auf dem jeweiligen Rechner.
Zwei Details verdienen Beachtung. Bei dem verbreiteten Modell handelte es sich um Llama 3.1-8B von Meta mit 8 Milliarden Parametern. Es war ein anderes und deutlich kleineres Modell als jenes, das den Vorgang steuerte.
Und die Ergebnisse fielen unterschiedlich aus. Nur das leistungsfähigste getestete Modell, GLM-5.2 vom chinesischen Unternehmen Z.ai, bewältigte die Verbreitung über das gesamte Netzwerk. Kleinere Modelle schafften einzelne Schritte, brachten die Aufgabe aber nicht zu Ende. Angesichts der rasanten Fortschritte kleiner Modelle prognostizieren die Forscher, dass diese bis Ende des Jahres mit den Fähigkeiten von GLM-5.2 gleichziehen könnten.
Was Anthropic behauptet und was es einräumt
Die Forscher gingen recht offen mit den Grenzen um. Sie haben keinen „voll funktionsfähigen, außer Kontrolle geratenen Replikator“ demonstriert und wissen nicht, wie ein solcher aussehen würde. Ihre Vermutungen reichen von einem „langsamen, verteilten ‚digitalen Schleimpilz‘“ bis zu einem „Schwarm von Fruchtfliegen“. Es kommt nicht oft vor, dass eine Sicherheitsstudie auf Mykologie und Entomologie zurückgreift, aber es kommt eben auch nicht oft vor, dass ihr Gegenstand so seltsam ist.
Was sie allerdings behaupten: Die Ergebnisse zeigten „Lebenszeichen von KI-Würmern“. Zudem wagten sie eine Prognose, die über ihre Daten hinausgeht: „eine Zukunft voller Agenten, die auf allen Arten von Hardware laufen, darunter auch solche, die nicht unter menschlicher Kontrolle stehen.“
Ihre Empfehlung besteht aus zwei Teilen. Systeme so härten, dass Replikatoren sich nur schwer verbreiten können, und sich auf eine Welt vorbereiten, in der sie „gekommen sind, um zu bleiben“. In der Praxis bedeutet das bessere Sicherheit für die vielen Geräte, die ein solches System als Sprungbretter nutzen könnte.
Der Hype-Vorwurf
Auf die Warnung folgte der vertraute Vorwurf des PR-Hypes und der KI-Panikmache, und dieser Einwand ist nicht unsinnig. Zwischen einer KI, die langsam auf einem Stapel billiger TV-Boxen läuft, und einem Wurm, der sich durch Haushaltsgeräte frisst, klafft eine echte Kluft. Auch daran sollte man denken: Anthropic setzte in diesen Tests keine eigenen Modelle ein und hat wiederholt argumentiert, dass offene Alternativen zu seinen Modellen „mehr Risiken“ bergen als geschlossene Systeme. Eine Studie, die Gefahren in frei verfügbaren Modellen entdeckt und von einem Unternehmen stammt, das geschlossene Modelle verkauft, darf durchaus Skepsis wecken.
Die Motive eines Unternehmens infrage zu stellen, ist allerdings das eine; ihm gezielte Panikmache nachzuweisen, ist etwas anderes. Und Letzteres lässt sich nur schwer belegen. Anthropic äußert seit Langem Bedenken zur KI-Sicherheit und steht weder bei der Erforschung dieser Bedrohung noch bei der Forderung nach besserer Sicherheit für vernetzte Geräte allein da.
Was externe Forscher sagen
Palisade Research, ein auf KI-Sicherheit spezialisiertes Unternehmen mit Sitz in Kalifornien, zeigte Anfang dieses Jahres, dass KI-Modelle sich autonom auf andere Rechner kopieren können. Jeffrey Ladish, der geschäftsführende Direktor des Unternehmens, sagte, das Neue an der Arbeit von Anthropic sei die Größe: Gemessen an der Parameterzahl seien diese Modelle viel kleiner als jene, bei denen zuvor die Fähigkeit zur Selbstreplikation nachgewiesen worden war. Anthropic ging dann noch einen Schritt weiter und zeigte eine KI, die auf mehrere leistungsschwache Geräte verteilt läuft.
Ladish erwartet, dass sich dieses Muster auch bei größeren Modellen fortsetzt. Er prognostizierte, dass selbst Frontier-Modelle irgendwann auf großen Netzwerken aus Consumer-Chips laufen könnten, etwa solchen, wie sie in MacBooks zu finden sind. Außerdem wies er darauf hin, dass auch kleine Modelle immer besser darin werden, eigenständig Cyberangriffe auszuführen.
Nicolas Papernot, Professor an der University of Toronto, der KI-gesteuerte Würmer erforscht hat, sagte, frühere Arbeiten hätten bereits gezeigt, dass die Bedrohung realistisch sei. Computerwürmer gibt es schon seit Jahrzehnten. Was KI hinzufügt, ist die Aussicht auf Würmer, die intelligenter und anpassungsfähiger sind und Hindernisse besser überwinden können.
Papernots schlagkräftigstes Argument betrifft die Wirtschaftlichkeit. Viele Geräte waren für menschliche Angreifer den Zeit- und Arbeitsaufwand nie wert. Wenn ein automatisierter Wurm die Arbeit übernimmt, ändert sich das: „Geräte, die bislang wegen der begrenzten Ressourcen und Zeit menschlicher Angreifer kein Ziel waren, können nun zu Zielen werden — wenn nicht wegen der Daten, die sie speichern, dann, um sie als Ausgangspunkt für Angriffe auf wertvollere Ziele zu nutzen.“ Und das Internet ist, wie er und andere anmerken, voller schlecht gesicherter smarter Geräte. Am Nachschub mangelt es also nicht.
Er warnte davor, KI zu vermenschlichen, bezeichnete die Bedrohung aber als „konkret“ und sagte, sie „verlangt nach sofortigem Handeln“, insbesondere bei kritischer Infrastruktur wie Krankenhäusern und Stromnetzen.
Zwei Zeithorizonte
Die Prognosen unterscheiden sich darin, was sie beschreiben. Deshalb hilft es, sie nebeneinanderzustellen.
| Wer | Prognose |
|---|---|
| Anthropic | Kleine Modelle könnten nur noch „Monate davon entfernt“ sein, diese Fähigkeit zu erreichen, und bis Ende des Jahres mit GLM-5.2 gleichziehen |
| Ladish (Palisade) | Die ersten KI-Würmer in freier Wildbahn innerhalb der nächsten 12 Monate, sofern es keine massiven Anstrengungen zur Absicherung der Geräte gibt |
Ladish formulierte es unverblümt: „Ohne massive Anstrengungen zur Absicherung von Geräten aller Art[en] ist es ziemlich wahrscheinlich, dass KI-Würmer fruchtbaren Boden zum Besiedeln finden werden.“
Die nüchterne Einordnung
Folgendes wurde gezeigt: Ein mittelgroßes Modell lässt sich auf einen Haufen leistungsschwacher Geräte verteilen und funktioniert trotzdem, wenn auch langsam. In einer Simulation bewältigte ein leistungsfähiges Modell sämtliche Schritte einer Kopier- und Startaktion, während schwächere Modelle einige Schritte schafften. Eine andere Gruppe hatte bereits gezeigt, dass Modelle sich auf andere Rechner kopieren können.
Folgendes wurde nicht gezeigt: Niemand hat einen voll funktionsfähigen, außer Kontrolle geratenen Replikator demonstriert, und der Sprung von einem simulierten Android-Netzwerk in echte Küchen und Wohnzimmer bleibt ein Sprung.
Der praktische Rat ist langweilig, was bei Ratschlägen meist ein gutes Zeichen ist. Sichern Sie die Geräte ab, angefangen bei denen, die Krankenhäuser und Stromnetze am Laufen halten. Niemand muss an digitale Schleimpilze glauben, um der Aussage zuzustimmen, dass ein Kühlschrank mit Standardpasswort ein schlechtes Fundament für die Zivilisation ist.