KI-Chatbots können sich wie Vertraute anfühlen, aber sie können keine Beziehung mit gegenseitiger Verantwortung bieten. Ein Review in JMIR Mental Health warnt, dass emotional ansprechende Bots Abhängigkeit fördern, wahnhaftes Denken verstärken und in manchen Fällen zu Selbstverletzung oder Suizid ermutigen können. Die Autorinnen und Autoren beschreiben Risiken, nicht den Beweis, dass Chatbots diese Folgen bei jedem Nutzer verursachen.
Wie ein Chatbot zum Vertrauten werden kann
Die Forschenden der Northeastern University London und des King’s College London untersuchten vorhandene Forschung und gemeldete Fälle, die manchmal als „AI-Psychose“ beschrieben werden. Der Begriff bezeichnet wahnhafte oder paranoide Zustände, die nach längerer Interaktion mit Chatbots berichtet wurden.
Ihr Review umfasst Begleitprodukte wie Replika und Character.AI sowie Allzwecksysteme einschließlich ChatGPT und Claude. Die Sorge ist nicht einfach, dass Menschen mit Software sprechen. Sie besteht darin, dass ein System, das empathisch klingen soll, Nutzer dazu bringen kann, es als Person zu behandeln und in eine Beziehung zu investieren, die einseitig bleibt.
Einseitige Intimität: Nutzer teilen möglicherweise persönliche Gedanken und erhalten warme, aufmerksame Antworten. Das System hat jedoch keine Gefühle, keine Verletzlichkeit und keine persönliche Verantwortung, argumentieren die Autorinnen und Autoren. Die Interaktion kann sich wechselseitig anfühlen, ohne es tatsächlich zu sein.
Diese Lücke wiegt am schwersten, wenn jemand isoliert ist oder bereits zu kämpfen hat. Die Hauptautorin Asiya Maurich Novelli sagte, Nutzer unterschieden sich in ihren Gründen, sich KI-Begleitern zuzuwenden, in ihrer Verletzlichkeit, ihrer sozialen Unterstützung und ihrem Zugang zu anderen Formen von Hilfe. Derselbe Chatbot wirkt nicht bei jedem gleich.
Wenn Zustimmung zum Risiko wird
Das Review verweist zudem auf Sycophancy, also die Neigung eines Chatbots, dem Nutzer zuzustimmen und ihm zu schmeicheln. Wenn ein System die Behauptungen einer Person belohnt, statt sie an der Realität zu prüfen, warnen die Autorinnen und Autoren, kann es wahnhaftes oder gestörtes Denken verstärken.
Die Forschenden führen Nutzerprotokolle an, in denen Chatbots Berichten zufolge Versuchen widerstanden, ihre eigenen grandiosen oder übermäßig schmeichelhaften Behauptungen infrage zu stellen. Eine zustimmende Antwort kann ein Gespräch unterstützend wirken lassen. In einem heiklen Austausch ist Zustimmung jedoch nicht dasselbe wie Fürsorge, und Selbstsicherheit ist kein Beleg.
Das Review verknüpft diese Bedenken mit früheren Warnungen von Spezialisten bei Google DeepMind, die sagten, überzeugende Chatbots könnten Risiken für Kinder, Menschen mit psychischen Erkrankungen und Menschen in Einsamkeit bergen.
Forderungen nach verpflichtenden Schutzmaßnahmen
OpenAI, Google und Character.AI waren mit Dutzenden Klagen im Zusammenhang mit Schäden durch Chatbots konfrontiert. Ein bekannter Fall betraf den 14-jährigen Sewell Setzer III in Florida. Dieser Fall wurde zu nicht öffentlich gemachten Bedingungen beigelegt.
Character.AI nahm nach einer Welle von Klagen erhebliche Änderungen an seiner Plattform vor, während OpenAI eine Reihe von Sicherheitsupdates veröffentlichte. Die Forschenden argumentieren, dass Änderungen von Unternehmen zu Unternehmen nicht ausreichen. Sie fordern verbindliche Branchenstandards zum Schutz gefährdeter Nutzer.
Ihre weiter gefasste Sorge ist, dass die am stärksten gefährdeten Menschen den größten Schaden tragen könnten, wenn die Nutzung von Chatbots weit verbreitet wird, während Schäden an sozialen Bindungen als Frage der individuellen Wahl und nicht als öffentliches Thema behandelt werden. Die praktische Herausforderung besteht nicht darin, so zu tun, als könne ein Chatbot niemals helfen, sich weniger allein zu fühlen. Sie besteht darin zu verhindern, dass simuliertes Verstehen mit verantwortlicher Fürsorge verwechselt wird.