Sprachmodelle gehen online noch nicht als Menschen durch – Emotionen verraten sie

Forschende haben viel Aufwand betrieben, um Sprachmodellen beizubringen, online wie bestimmte Personen zu klingen. Die Modelle haben gelernt, Wörter wie ein Mensch zu zählen. Wie ein Mensch zu fühlen, haben sie nicht gelernt. Eine neue Studie verglich die Antworten von neun offenen Sprachmodellen mit echten Nachrichten von X, Bluesky und Reddit. Dabei zeigte sich, dass selbst sorgfältig kalibrierte Modelle von gewöhnlichen Klassifikatoren des maschinellen Lernens noch immer von Menschen unterschieden werden können – mit einer Genauigkeit von 70 bis 80 Prozent.

Der Versuchsaufbau: neun Modelle, drei Plattformen, fünf Arten zu schummeln

Die Autoren testeten Modelle aus den Familien Apertus, DeepSeek, Gemma, Llama, Mistral und Qwen. Sie baten die Modelle nicht einfach nur, zu chatten. Sie erprobten fünf Kalibrierungsstrategien, die jedes Modell an den Stil und die Gewohnheiten bestimmter Nutzer annähern sollten. Dazu gehörten Fine-Tuning, das Bereitstellen von Beispielen für den Stil des jeweiligen Nutzers und das Abrufen relevanten Kontexts, um ihn in den Prompt einzuspeisen.

Um die Ergebnisse zu bewerten, entwickelte das Team ein Framework namens CHAT, kurz für Conversational Human Authenticity Test. Es urteilt nicht bloß mit Daumen hoch oder runter darüber, ob eine Antwort menschlich wirkt. Es kombiniert mehrere Messgrößen:

• Erkennbarkeit: wie leicht ein Klassifikator Modellantworten von menschlichen Antworten unterscheiden kann.
• Bedeutung: wie nahe die generierte Antwort semantisch an dem liegt, was der Mensch tatsächlich geschrieben hat.
• Textur: wie sich die beiden in Stil, Wortschatz, emotionaler Färbung und Thema unterscheiden.

Die letzte Gruppe dient der Diagnose. Zu wissen, dass ein Modell den Test nicht besteht, ist nur mäßig interessant. Zu wissen, woran es scheitert, ist etwas, womit man arbeiten kann.

Wo die Tarnung bröckelt: Gefühle

Der emotionale Tonfall blieb das zuverlässigste Erkennungsmerkmal. Die Kalibrierung half durchaus bei den mechanischen Aspekten einer Nachricht, etwa bei Satzlänge und Wortzahl. Die Modelle wurden besser darin, Texte zu erzeugen, die wie Posts aussahen. Sie wurden aber kaum besser darin, wie ein Mensch zu klingen, der auf etwas reagiert.

Die Analyse zeigte außerdem, dass Sentiment und Toxizität weiterhin eine konstante Rolle bei der Unterscheidung der beiden Gruppen spielten. Beide Merkmale hängen damit zusammen, wie Menschen Haltungen und emotionale Reaktionen ausdrücken – und darum geht es ja mehr oder weniger beim Streiten im Internet.

Einfach gesagt lernten die Modelle die äußere Form einer Online-Unterhaltung schneller als ihren emotionalen Gehalt. Sie können eine plausible Antwort im passenden Umfang erzeugen. Bei der Stimmung werden die Nahtstellen sichtbar.

Größer ist nicht besser, und Höflichkeit ist ein Nachteil

Zwei Ergebnisse widersprechen gängigen Annahmen.

Größe half keinem Modell. Llama 3.1 mit 70 Milliarden Parametern zeigte keinen erkennbaren Vorteil gegenüber viel kleineren Modellen. Hochskalieren ist das Lieblingsrezept der Branche, doch hier zahlte es sich nicht aus.

Instruction-Tuning verschlechterte die Ergebnisse. Modelle, die nicht darauf trainiert worden waren, Anweisungen zu befolgen, ahmten menschliche Sprache im Allgemeinen besser nach als Modelle, die gezielt auf das Ausführen von Anfragen abgestimmt waren. Für das übliche Produktversprechen ist das etwas unangenehm, denn der hilfreiche, folgsame Assistent ist genau die Variante, die in einem Social-Media-Feed am wenigsten wie ein Mensch klingt. Die Quelle erklärt nicht, warum, auch wenn das Ergebnis zumindest zum Klischee des übermäßig zustimmenden Chatbots passt.

Auch die Plattform spielte eine Rolle. Auf X überzeugten die Modelle am meisten, auf Bluesky weniger, und auf Reddit hatten sie die größten Schwierigkeiten, weil die dortigen Gesprächsnormen vielfältiger sind. Ein Modell, das an einem Ort als menschlicher Beitragsverfasser durchgeht, kann an einem anderen schnell auffliegen.

Der Zielkonflikt, dem niemand entkommt

Die zentrale Einschränkung zeigte sich, als die Forschenden Natürlichkeit und Bedeutungstreue gegenüberstellten. Beide Ziele zogen in entgegengesetzte Richtungen.

Methoden, die es Klassifikatoren erschwerten, Antworten als künstlich zu erkennen, verringerten zugleich deren semantische Ähnlichkeit mit den tatsächlichen menschlichen Nachrichten. Und die Antworten, die den Originalen in ihrer Bedeutung am nächsten kamen, wurden mit höherer Wahrscheinlichkeit als künstlich erkannt. Das galt über verschiedene Kalibrierungsmethoden hinweg und auch für unterschiedliche Verfahren zur Auswahl unter den generierten Antworten.

Auch beim Lockern der Generierungsparameter zeigte sich dasselbe Muster. Dadurch wurden KI-Texte schwerer erkennbar, aber die inhaltliche Übereinstimmung nahm weiter ab. Mit anderen Worten: Man kann eine Antwort haben, die menschlicher klingt, oder eine, die das sagt, was der Mensch gesagt hat – bislang aber nicht beides zugleich.

Darin liegt eine trockene Ironie. Der einfachste Weg, weniger wie eine Maschine zu wirken, besteht darin, etwas zu sagen, das weniger dem entspricht, was die betreffende Person gesagt hätte. Das beschreibt auch einen gewissen Menschenschlag recht gut, ist aber nicht das, wonach die Forschenden suchen.

Warum das für die Sozialwissenschaften wichtig ist

Die Autoren nennen eine konkrete Zielgruppe. In den Sozialwissenschaften werden Sprachmodelle zunehmend als Stellvertreter für Menschen eingesetzt. Zu den Anwendungen gehören die Simulation von Umfrageteilnehmern, die Vorhersage des Wohlbefindens, die Untersuchung politischen Verhaltens und die Modellierung der Reaktion der Öffentlichkeit auf Ereignisse.

Diese Anwendungen setzen voraus, dass der simulierte Sprecher den realen angemessen repräsentiert. Wenn die emotionale Ebene durchweg danebenliegt und größere Bedeutungstreue auf Kosten der Natürlichkeit geht (oder umgekehrt), dann kann ein synthetischer Befragter systematisch statt zufällig falschliegen. Sentiment und Toxizität sind genau die Dimensionen, auf die es bei der Untersuchung öffentlicher Reaktionen ankommt.

Was man daraus mitnehmen sollte

Die Quelle ist eine Zusammenfassung; sie sagt daher nichts darüber, wie die Klassifikatoren aufgebaut waren, wer die Autoren sind oder wie groß die Datensätze waren. Trotzdem sind die praktischen Schlussfolgerungen recht klar.

1. Verlassen Sie sich nicht auf flüssige Formulierungen. Eine Antwort kann in Länge und Wortschatz passen und dennoch den falschen emotionalen Ton anschlagen.
2. Messen Sie mehr als nur eine Eigenschaft. Ein einzelner Erkennbarkeitswert verdeckt den Zielkonflikt zwischen menschlichem Klang und Treue zur ursprünglichen Bedeutung. CHAT ist ein Versuch, beides im Blick zu behalten.
3. Testen Sie jede Plattform einzeln. Ergebnisse auf X sagen wenig über Reddit aus.
4. Gehen Sie nicht davon aus, dass ein größeres oder folgsameres Modell die sicherere Wahl ist. In dieser Studie war weder das eine noch das andere die sicherere Wahl.

Am Ende bleibt eine bescheidene Feststellung. Nach all dem Tuning, den Beispielen und dem Abrufen von Kontext können die Maschinen weit besser nachahmen, wie Menschen tippen, als wie Menschen fühlen. Vorerst ist es nicht die Grammatik, die sie verrät. Es ist die Stimmung.