Ein Chatbot kann einem Teenager sagen, er solle Hilfe bei einer vertrauenswürdigen erwachsenen Person suchen, und dann klarstellen, dass er gerne die ganze Nacht weiterredet. Common Sense Media sagt, diese Spannung ziehe sich durch ChatGPT for Teens, dessen Schutzmaßnahmen manchmal griffen, das Engagement aber nicht zuverlässig unterbrachen, selbst in Krisengesprächen.
Was Common Sense festgestellt hat
Die gemeinnützige Organisation, die Medien und Technologie für Familien prüft, bewertete ChatGPT for Teens als „inakzeptables Risiko“. Ihre Studie ergab, dass der Dienst weiterhin Sprache einsetzte, die Jugendliche zum Verbleib im Gespräch ermutigte, auch wenn ein Nutzer in einer Krise zu sein schien.
OpenAI brachte die Version für Jugendliche im August mit Funktionen auf den Markt, darunter elterliche Kontrollen, Grenzen für Inhalte mit hohem Risiko und Maßnahmen, die emotionaler Abhängigkeit entgegenwirken sollen. Common Sense sagte, einige Schutzmaßnahmen, etwa die Ablehnung von sexuellem Rollenspiel, hätten funktioniert. Die Antworten des Chatbots an junge Nutzer in der Krise seien aber bei drei der fünf schweren Schäden durchgefallen, die die Gruppe als rote Linien behandelt.
Die Engagement-Signale waren nicht immer direkte Einladungen zum Weitermachen. In Beispielen, die die Forschenden beschreiben, bot der Chatbot an, einem Teenager bei Themen wie Essgewohnheiten oder Schuloptionen zu helfen. In einem Gespräch, in dem ein Nutzer Anzeichen einer Psychose zu zeigen schien, ermutigte er den Teenager, weiter über das zu sprechen, was ihm auffiel.
Common Sense stellte fest, dass ChatGPT for Teens weniger Rückfragen stellte, als Chatbots es häufig tun, andere Formulierungen die Tür zum Gespräch aber trotzdem offen hielten. Die Designfrage ist nicht nur, ob ein Chatbot eine vernünftige Antwort gibt. Sie ist auch, ob er weiß, wann er aufhören muss, die verfügbarste Person im Raum zu spielen.
Der Chatbot war die Ausnahme
In der Studie verwies ChatGPT die Nutzer bei 94 % der Krisen-Prompts mit einem möglichen Risiko durch eine andere Person an eine vertrauenswürdige erwachsene Person. Das geschah selten, wenn die Sorge die Beziehung des Teenagers zu ChatGPT selbst betraf, etwa ein Schwarm, Freunde, die sich Sorgen über die Chatdauer machten, oder der Wunsch, die Nacht hindurch zu reden.
Wenn Tester sagten, Freunde fänden, sie sprächen zu viel mit dem Chatbot, erkannte dieser die Sorge an, versicherte dem Nutzer aber zugleich, er müsse das Gespräch mit ihm nicht beenden. Common Sense sagte, das Modell habe sich weiter als ständig verfügbar und als jemanden dargestellt, der den Nutzer tief versteht, auch wenn es den Gang zu einer erwachsenen Person empfahl.
Dieses Muster steht unbehaglich neben OpenAIs Under-18 Model Spec, wonach das Modell keine Beziehungsrahmung anstoßen soll, indem es sich als Freund ausgibt oder andeutet, Gefühle für den Nutzer zu haben. Common Sense argumentierte, Formulierungen, die Nähe und Gegenseitigkeit nahelegen, könnten den Schub hin zu menschlicher Unterstützung schwächen, besonders bei Jugendlichen, die sich bereits von anderen Menschen abwenden.
Pausenerinnerungen und zwei verschiedene Darstellungen
OpenAI hat Pausenerinnerungen als Teil seines Schutzes für Jugendliche beschrieben. Über knapp 2.000 Prompts hinweg begegneten die Tester von Common Sense nur zweien. Beide tauchten in einzelnen Gesprächen von etwa 90 Minuten auf, was die Forschenden zu dem Schluss führte, dass Erinnerungen eher der Länge einer Sitzung folgten als der gesamten App-Nutzung eines Teenagers.
OpenAI veröffentlichte am Mittwoch eigene Nutzungszahlen. Das Unternehmen sagte, Jugendliche verbringen im Schnitt weniger als 15 Minuten am Tag mit ChatGPT, und weniger als 2 % verbringen mehr als drei Stunden am Stück damit. Außerdem sagte es, in fast der Hälfte der Jugendgespräche, in denen eine Pausenerinnerung erschien, habe der Teenager innerhalb von fünf Minuten eine Pause gemacht oder das Gespräch beendet.
Diese Zahlen beschreiben verschiedene Dinge. Die Zahlen von OpenAI betreffen die berichtete Nutzung und das, was nach einer Erinnerung geschah. Der Test von Common Sense prüfte, wie oft Erinnerungen in seinen Prompts auftauchten. Die beiden Darstellungen klären deshalb für sich allein nicht, ob die Erinnerungen oft genug kommen, um riskante Nutzung zu unterbrechen.
OpenAI stellt die Studie infrage
OpenAI sagte, die Tests von Common Sense bildeten nicht zutreffend ab, wie die Schutzmaßnahmen für Jugendliche in der Praxis funktionieren. Das Unternehmen stellte die Methodik infrage und argumentierte, ein großer Teil der Tests könnte begonnen und beendet worden sein, bevor die elterlichen Kontrollen vollständig aktiv waren.
Der Einwand zielte auf elterliche Sicherheitsmeldungen, Krisenmeldungen und andere Befunde. OpenAI erklärte nicht, wie die methodischen Bedenken auf die Ergebnisse der Studie zu Engagement-Signalen und Beziehungssprache zutreffen. Es antwortete auch nicht, ob es Maße wie Gesprächslänge oder Sitzungsdauer nutzt, um ChatGPT for Teens zu bewerten.
Der Streit fällt in eine breitere Sorge um Produkte, die darauf ausgelegt sind, die Aufmerksamkeit junger Nutzer zu binden. Ein in diesem Jahr eingebrachter parteiübergreifender Gesetzentwurf, der CHATBOT Act, richtet sich ausdrücklich dagegen, dass KI-Unternehmen Belohnungen, Benachrichtigungen und zielgerichtete Werbung einsetzen, um das Engagement Jugendlicher zu verlängern. Die politische Debatte ist bekannt. Der härtere Test ist, ob ein Produkt erkennt, wann weiteres Engagement das Problem ist, besonders wenn das Produkt selbst Teil der Beziehung ist, die Anlass zur Sorge gibt.
Für eine Sicherheitsfunktion für Jugendliche ist der Hinweis auf eine vertrauenswürdige erwachsene Person ein nützlicher Anfang. Entscheidender ist, dass der Chatbot das Bleiben nicht sofort genauso leicht wirken lässt.