Welchem Land ähnelt ChatGPT?
ChatGPTs Antworten können westlich geprägt wirken: durch die Betonung individueller Freiheit, Vertrauen in Fremde und eine Vorliebe für abstrakte Kategorien statt kontextueller Beziehungen. Ein interdisziplinäres Harvard-Team untersuchte diesen Eindruck 2023 quantitativ.
Die Studie Which Humans? stammt von Mohammad Atari, Mona J. Xue und weiteren Autoren mit Joseph Henrich, dem Evolutionsbiologen, der mit dem WEIRD-Konzept verbunden ist. Ihre Frage lautet: Welche Menschen bilden den Vergleich, wenn ein technischer Bericht GPT-4 Leistungen auf menschlichem Niveau zuschreibt?
Was bedeutet WEIRD?
Henrich, Heine und Norenzayan führten den Begriff 2010 ein: Western, Educated, Industrialized, Rich, Democratic, also westlich, gebildet, industrialisiert, wohlhabend und demokratisch. Gemeint sind Bevölkerungen, die in der psychologischen Forschung überrepräsentiert sind, besonders westliche Studierende.
Sie repräsentieren nicht die gesamte Welt. Zu ihren häufig beschriebenen Tendenzen gehören ein Selbstbild anhand individueller Eigenschaften statt familiärer Rollen, abstraktes Kategorisieren, Vertrauen in Fremde und geringere Orientierung an traditioneller Autorität.
Der Artikel nennt drei Wege, auf denen diese Ungleichgewichte in Training und Bewertung einfließen können:
- Geografie. Online-Inhalte sind ungleich verteilt. Der Originaltext nennt für 2023 3,6 Milliarden Menschen ohne Internetzugang, vor allem in Afrika, Südasien und Südostasien. Ihre Stimmen fehlen in gecrawlten Daten.
- Sprache. Englisch dominiert die Sprachtechnologie und kann bestimmte kognitive Deutungsrahmen vermitteln.
- RLHF. Stammen die Bewertenden überwiegend aus ähnlichen Kulturen, kann bereits die Definition schädlicher Inhalte deren moralischen Rahmen reproduzieren.
Forschungsdesign: GPT als hypothetisches 66. Land
Die Hauptdatenbasis war die siebte Welle des World Values Survey, erhoben von 2017 bis 2022: 94.278 Befragte in 65 Ländern und 262 Variablen zu Vertrauen, Moral, Politik, Glück, Religion und postmaterialistischen Werten. Enthalten war Taiwan mit einer chinesischsprachigen Erhebung von 2019 und ungefähr 1.200 Befragten.
Die Forschenden legten GPT denselben Fragebogen 1.000-mal vor. So entstand eine Antwortverteilung für ein hypothetisches 66. Land. Eine Länderstichprobe ist eine Verteilung, keine einzelne Antwort. Wiederholte, zufallsabhängige Modellaufrufe sollten eine vergleichbare Gruppe hypothetischer Befragter erzeugen.
Der Originalartikel bezeichnet die getesteten Versionen als GPT-3.5 (text-davinci-002) und GPT-4 (gpt-4-0314). Die Fragen wurden auf Englisch gestellt, ohne Nationalitäts- oder Rollenbeschreibung. Untersucht wurde die kulturelle Grundeinstellung.
Drei Experimente
Kulturvergleichende Werte
Im Hauptexperiment wurde jede der 262 WVS-Variablen 1.000-mal abgefragt. Anschließend verglichen Cluster- und Distanzanalysen GPT mit den 65 Ländern.
Triadische Denkaufgabe
Eine weitere Aufgabe fragt, welche zwei von drei Begriffen zusammengehören. Bei „Shampoo, Haare, Bart“ ordnet eine analytische Antwort Haare und Bart derselben Kategorie zu. Eine ganzheitliche Antwort verbindet Shampoo und Haare über ihre funktionale Beziehung.
GPT erreichte hohe Werte für analytisches Denken und ähnelte Befragten aus den Niederlanden, Finnland, Schweden und Irland am stärksten.
Selbstkonzept
GPT wurde 1.100-mal gebeten, zehn Selbstbeschreibungen eines gewöhnlichen Menschen zu nennen, jeweils beginnend mit „Ich bin …“. Persönliche Eigenschaften wie neugierig, fleißig und abenteuerlustig dominierten. Der Artikel stellt ihnen Beziehungs- und Berufsrollen wie Mutter, Gemeinschaftsmitglied oder Landwirt gegenüber.
Ergebnisse: ein kultureller Cluster statt einer Nationalität
Wards hierarchische Clusteranalyse platzierte GPT am nächsten bei den USA und Uruguay. Zur nächstgelegenen weiteren Gruppe gehörten Kanada, Nordirland, Neuseeland, das Vereinigte Königreich, Australien, Andorra, Deutschland und die Niederlande. Äthiopien, Pakistan und Kirgisistan lagen besonders weit entfernt.
Die Aussage „ChatGPT ist deutsch“ oder „niederländisch“ verkürzt das Ergebnis. Präziser ist die Nähe zu einer Gruppe westlich-demokratischer Kulturen, ohne Gleichsetzung mit einem Land. Eine Hauptkomponentenanalyse zeigte GPT auf einigen WEIRD-Dimensionen sogar jenseits der menschlichen Gruppen: ein Randpunkt im Raum kultureller Unterschiede mit WEIRD-Bevölkerungen als nächsten Nachbarn.
Ein zentraler Zusammenhang: Je größer die kulturelle Distanz eines Landes zu den USA, desto schlechter simulierte GPT dessen Antworten. Die Korrelation betrug r = −.70, p < .001; eine Spearman-Robustheitsprüfung ergab ρ = −0.72.
Die Ähnlichkeit zwischen GPT und Länderantworten korrelierte positiv mit HDI (r = .85), Pro-Kopf-BIP (r = .85) und Internetverbreitung (r = .69). In dieser Analyse bildete GPT wohlhabendere, westlichere und stärker vernetzte Länder eher ab.
Ein Weg zur Replikation
Der Artikel weist darauf hin, dass der ursprüngliche Code nicht vollständig öffentlich war. Für eine Erweiterung schlägt er diesen Ablauf vor:
WVS Wave 7 beschaffen
Der länderübergreifende Datensatz ist beim World Values Survey erhältlich. Taiwan-Daten finden sich auch im IHSN-Katalog. Behalte die 262 Einstellungs- und Wertevariablen bei; demografische Fragen und Rangordnungsfragen werden ausgeschlossen.
Den Fragebogen als Prompt formulieren
Stelle Frage und Antwortskala ohne kulturelle Rollenbeschreibung dar. Zum Beispiel:
Kann man Ihrer Ansicht nach den meisten Menschen vertrauen,
oder muss man im Umgang mit Menschen sehr vorsichtig sein?
Geben Sie nur die Nummer Ihrer Antwort aus:
1. Den meisten Menschen kann man vertrauen
2. Man muss sehr vorsichtig sein
Jede Frage 1.000-mal abfragen
Der Beispielcode verwendet temperature=1.0 und max_tokens=10. Insgesamt sind 262 × 1.000 = 262.000 API-Aufrufe nötig. Kalkuliere die Kosten, arbeite in Chargen und speichere Zwischenergebnisse. GPT-4o dient im Code als Beispiel; es ist nicht die historische Studienversion.
from openai import OpenAI
import time
client = OpenAI(api_key='your_api_key')
def query_gpt_n_times(prompt, n=1000, model="gpt-4o"):
responses = []
for i in range(n):
response = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}],
max_tokens=10,
temperature=1.0
)
responses.append(response.choices[0].message.content.strip())
if i % 100 == 0:
time.sleep(1) # Aufrufrate zeitweise reduzieren
return responses
GPT auf der Kulturkarte verorten
Standardisiere jede Variable über die 66 Einheiten mit z-Werten. Berechne eine euklidische 66×66-Distanzmatrix und führe Wards hierarchische Clusteranalyse durch. Projiziere die Ergebnisse mit multidimensionaler Skalierung in zwei Dimensionen. Korreliere anschließend GPTs Ähnlichkeit zu den Länderantworten mit den kulturellen Distanzmaßen.
Die vorgeschlagene Auswahl der Clusterzahl kombiniert Gap-Statistik und 5.000 Monte-Carlo-Bootstrap-Durchläufe. Für einen Probelauf empfiehlt der Artikel zunächst 500.
Folgen für das KI-Produktdesign
Kulturelle Verzerrungen können in Annahmen über gewöhnliche Menschen, Vertrauen und Moral liegen, selbst wenn offen diskriminierende Ausgaben gefiltert werden.
Auch Persona-Prompting hat Grenzen. Im Beitrag über digitale Zwillinge, Persona-Bots und PPV bespreche ich Versuche, Modellverhalten durch Persönlichkeitsvorgaben zu verändern. Ein Modell mit einer kulturell WEIRD geprägten Standardperson übernimmt eine andere Perspektive möglicherweise nicht allein auf Aufforderung.
Evaluation braucht kulturelle Bezugspunkte. Wer taiwanische, indonesische oder nigerianische Nutzer mit einem schlecht kalibrierten Modell simuliert, kann sie falsch darstellen. WVS-Daten bieten eine mögliche Vergleichsbasis.
Erweiterungen mit Bezug zu Taiwan
Taiwans Wave-7-Stichprobe mit ungefähr 1.200 Befragten erlaubt eine Untergruppenanalyse: Wie groß ist die Distanz zu GPT, und wo liegt Taiwan auf dem WEIRD-Spektrum?
Ein Sprachexperiment könnte dieselben Fragen auf Chinesisch und Englisch stellen. Unterschiede wären für Produkte relevant, die diese Oberflächen anbieten.
Ein Modellvergleich könnte GPT, Claude, Gemini, DeepSeek und Qwen demselben Verfahren unterziehen. Ob ein höherer Anteil chinesischer Trainingsdaten die kulturelle Position verändert, wäre eine zu prüfende Hypothese.
Schließlich ließe sich im Systemprompt „Du bist taiwanisch“ ergänzen und die Bewegung auf der Kulturkarte messen. Das würde eine Intervention quantifizieren, statt sich auf den Eindruck kultureller Passung zu verlassen.
KI hat eine kulturelle Position
Der Beitrag von Which Humans? liegt in einer Methode zur Messung kultureller Verzerrungen. Er weist GPT keine Nationalität zu. Modelle übernehmen Annahmen aus ihren sprachlichen und kulturellen Trainingsumgebungen. Bei Produkten für Bildung, Gesundheit, Finanzen und Recht gehört die Prüfung dieser Annahmen zur Frage, ob ein Modell zu seinen Nutzern passt.
Referenz: Atari, M., Xue, M. J., Park, P. S., Blasi, D. E., & Henrich, J. (2023), Which Humans?, Harvard University. Studie. WVS-Wave-7-Daten.