Warum noch Umfragen? Big Data, KI und die Fragen, die bleiben

KI statt Umfrage? Was Verhaltensdaten zeigen, wo synthetische Befragte an Grenzen stoßen und wann Sie Menschen selbst fragen sollten. Mit Checkliste.

Kurz gesagt: Ja, aber nicht für jede Frage. Verhaltensdaten zeigen, was Menschen tun, soweit es registriert wird, und KI-Modelle sagen vorher, welche Antwort für eine Gruppe typisch wäre. Nach Gründen, Einstellungen und Absichten müssen Sie die Menschen selbst fragen, denn in den bisherigen Vergleichsstudien bildeten synthetische Befragte echte Antworten nur unter engen Bedingungen und nicht verlässlich nach (Argyle et al. 2023, S. 341; Bisbee et al. 2024, S. 401).

Wir gehen die Sache der Reihe nach durch. Sie erfahren:

• was Sie nur erfahren, wenn Sie fragen,
• was Verhaltensdaten und Big Data besser können und wo sie in die Irre führen,
• ob KI statt Umfrage funktioniert, also ob synthetische Befragte echte ersetzen können und was die Forschung zu „Silicon Samples“ zeigt,
• wo KI Ihre Umfrage tatsächlich besser macht,
• wie Sie entscheiden, welche Quelle zu Ihrer Frage passt: vorhandene Daten, ein KI-Modell oder eine Befragung.

Die Frage gibt es in zwei Varianten. Die ältere lautet: „Wir haben doch die Daten, wozu noch fragen?“ Gemeint sind CRM, Shop und Webanalyse, wenn es um Kundinnen und Kunden geht, und die Personalstatistik, wenn es um die eigene Belegschaft geht. Die neuere ist erst ein paar Jahre alt: „Kann nicht einfach eine KI die Antworten simulieren?“ Beide Fragen sind berechtigt. Wer Daten hat, sollte sie nutzen, bevor er Menschen mit einem Fragebogen behelligt. Und wer eine KI fragen kann, sollte wissen, was sie dabei eigentlich beantwortet. Am meisten erfahren Sie, wenn Sie Daten, KI und Befragung kombinieren.

Was erfährt man nur, wenn man fragt?

In meinem Kurs definiere ich die Umfrage als eine der populärsten Methoden, primäre Daten zu erheben, wobei der Forscher mit Befragten interagiert, um Informationen über Einstellungen, Meinungen, Wissen und Verhaltensweisen von Menschen zu gewinnen (Marx 2026, Folie 6). Primär heißt: Die Daten gibt es noch nicht, Sie erzeugen sie für Ihre Frage. Sekundärdaten wurden dagegen zu einem früheren Zeitpunkt erhoben (Marx 2026, Folie 14), meist für einen anderen Zweck (mehr dazu: Grundlagen der Umfrageforschung). Hier geht es um eine engere Frage: Was davon bekommen Sie auch ohne Befragung?

Von den vier Dingen in der Definition lässt sich eines oft auch anders erfassen, nämlich das Verhalten. Die anderen drei sind schwerer zu haben. Jacob et al. nennen es so: Befragungen versuchen, latente Phänomene zu erfassen, die der direkten Beobachtung entzogen sind, also Einstellungen, Werthaltungen, Wünsche, Hoffnungen, Kenntnisse und Verhaltensdispositionen. All das sei nur indirekt durch Befragungen zu erfahren (2019, S. 5).

Malhotra und Birks zeigen den Unterschied an einem Alltagsbeispiel. Der größte Nachteil der Beobachtung sei, dass sich die Gründe für das beobachtete Verhalten schwer bestimmen lassen, weil wenig über Motive, Überzeugungen, Einstellungen und Präferenzen bekannt ist. Wer beim Kauf einer Müslimarke beobachtet wird, mag sie vielleicht gar nicht, sondern kauft sie für jemand anderen im Haushalt (2007, S. 290). Dieselbe Kassenbuchung kann also für Begeisterung stehen, für Gewohnheit oder für einen Gefallen.

Daraus ergeben sich fünf Arten von Fragen, bei denen Sie um eine Befragung kaum herumkommen:

Die letzte Zeile wird oft übersehen. Ihre eigenen Daten beschreiben die Menschen, die schon da sind. Über die, die nie gekommen sind oder still gegangen sind, sagen sie wenig.

Und noch etwas kann eine Befragung, wenn sie sorgfältig angelegt ist: Sie sagt, wie verbreitet eine Einstellung in einer bestimmten Gruppe ist. Ob eine Haltung typisch ist, für wen und ob sie sich im Zeitverlauf wandelt, lässt sich nach Jacob et al. nur mit quantitativen repräsentativen Befragungen ermitteln (2019, S. 5). Was „repräsentativ“ dabei verlangt, steht im Artikel Repräsentativität.

Big Data statt Umfrage: Was können Verhaltensdaten besser?

Jetzt die Gegenseite, und die ist stark. Für Fragen nach registriertem Verhalten sind Verhaltensdaten oft genauer als Selbstauskünfte. Beobachtung erfasst tatsächliches Verhalten statt berichteter Absichten oder Vorlieben, ohne Verzerrung durch die Selbstauskunft und mit wenig oder gar keinem Einfluss von Interviewern (Malhotra und Birks 2007, S. 290). Manches lässt sich überhaupt nur beobachten: Verhaltensmuster, die den Befragten selbst nicht bewusst sind oder die sie nicht mitteilen können (ebd.), und alles, was Befragte nicht in Worte fassen können oder wollen, etwa weil es unbewusst ist oder zu lange zurückliegt (Möhring und Schlütz 2019, S. 9).

Das heißt praktisch: Wenn Sie wissen wollen, wie oft Kundinnen und Kunden Ihre App öffnen, welche Seite sie verlassen oder wie lange sie in der Warteschlange hängen, fragen Sie sie nicht. Schauen Sie in die Daten. Menschen erinnern sich an so etwas schlecht. Die Grenzen der Erinnerung sind Grenzen jeder Befragung (Schnell 2019, S. 7), und bei Fragen nach tatsächlichem Verhalten sind standardisierte Beobachtungen oft eine sinnvolle Alternative (ebd., S. 8).

Oft liegt die Antwort sogar schon vor. Für viele Fragestellungen gibt es Individualdaten bereits in Datenbanken, und wo man auf solche prozessproduzierten Daten zurückgreifen kann, bieten sie gegenüber Befragungen häufig Vorteile. Sonst lohnt die Prüfung, ob sich die Frage durch eine Sekundäranalyse bereits erhobener Befragungsdaten klären lässt, etwa aus akademischen Datenarchiven wie dem GESIS-Datenarchiv (Schnell 2019, S. 8-9). In meinem Kurs steht derselbe Gedanke als Regel: Keine Marktforschung, wenn entscheidungsrelevante Informationen bereits vorhanden sind (Marx 2026, Folie 10). Eine Umfrage, deren Antwort schon in Ihrer Datenbank steht, kostet Ihre Befragten Zeit und Sie Vertrauen.

Wo Daten in die Irre führen. Die Stärke der Verhaltensdaten hat drei Kehrseiten.

Erstens zeigen sie nur, was registriert wird, und nur bei denen, die registriert werden. Malhotra und Birks halten in ihrer Übersicht über zugekaufte Standarddaten fest, dass Scannerdaten zwar tatsächliche Käufe zeigen, zeitnah und vergleichsweise günstig sind, aber nicht unbedingt repräsentativ. Surveys bezeichnen sie in derselben Tabelle als den flexibelsten Weg, Informationen auch über die zugrunde liegenden Motive zu gewinnen (2007, S. 107).

Zweitens wurden die Daten für einen anderen Zweck erzeugt. Ein Suchprotokoll, ein Ticketsystem oder eine Kassendatenbank misst, was das System braucht, nicht das, was Sie wissen wollen. Lazer et al. sagen es grundsätzlich: Die meisten Big-Data-Quellen, die öffentlich Aufmerksamkeit bekommen haben, stammen nicht aus Instrumenten, die für gültige und verlässliche Daten gebaut wurden (2014, S. 1203).

Drittens verführt die schiere Menge zu Übermut. Das bekannteste Beispiel ist Google Flu Trends, ein Dienst, der aus Suchanfragen die Grippewelle vorhersagen sollte. Im Februar 2013 wurde bekannt, dass er einen mehr als doppelt so hohen Anteil von Arztbesuchen wegen grippeähnlicher Erkrankungen vorhersagte, wie ihn die US-Gesundheitsbehörde CDC meldete, obwohl er gerade dafür gebaut war, deren Zahlen vorherzusagen (Lazer et al. 2014, S. 1203). Zwischen August 2011 und September 2013 lag er in 100 von 108 Wochen zu hoch (ebd., S. 1204). Die Autoren nennen eine Ursache „big data hubris“: die oft unausgesprochene Annahme, große Datenmengen seien ein Ersatz für traditionelle Datenerhebung und Analyse statt einer Ergänzung (ebd., S. 1203). Ihr Fazit ist kein Plädoyer gegen Big Data. Traditionelle „small data“ enthielten oft Informationen, die in Big Data nicht enthalten sind, und es gehe um eine Auswertung aller Datenquellen, alter wie neuer (ebd., S. 1205).

Das Was und das Warum. Für registriertes Verhalten sind Verhaltensdaten oft genauer als Selbstauskünfte. Warum Menschen so handeln, was sie davon halten und was sie als Nächstes vorhaben, lässt sich daraus meist nur indirekt erschließen. Eine Befragung ergänzt, welche Gründe, Bewertungen und Absichten die Menschen selbst nennen.

KI statt Umfrage: Können synthetische Befragte echte ersetzen?

Seit es große Sprachmodelle gibt, liegt eine neue Abkürzung nahe. Man beschreibt dem Modell eine Person, etwa „42 Jahre, Lehrerin, wohnt in Leipzig, wählt eher links“, stellt ihm die Fragen des Fragebogens und wiederholt das für Hunderte solcher Profile. Heraus kommt eine Stichprobe ohne Feldzeit und ohne Rücklaufproblem. In der Forschung heißen solche künstlichen Stichproben „Silicon Samples“ oder synthetische Befragte. Bildet das Modell einzelne Personen nach, etwa die eigenen Kunden oder Beschäftigten, ist auch von „digitalen Zwillingen“ die Rede.

Was dafür spricht. Der Begriff „Silicon Sample“ geht auf eine politikwissenschaftliche Studie zurück. Argyle et al. haben das Sprachmodell GPT-3 mit Tausenden soziodemografischer Profile echter Befragter aus großen US-Umfragen gefüttert und gezeigt, dass das Modell die Antwortverteilungen vieler Untergruppen erstaunlich gut nachbildet. Sie nennen diese Eigenschaft „algorithmic fidelity“, algorithmische Treue (2023, S. 337). Dabei formulieren die Autoren vorsichtig. Diese Treue müsse zuerst für das jeweilige Themengebiet und die interessierenden Gruppen geprüft werden (ebd., S. 341). Eine Übereinstimmung auf der Ebene einzelner Personen erwarten sie nicht, nur in der Gesamtverteilung (ebd., S. 348), und ihre Studien betreffen allein die US-Politik.

Was dagegen spricht. Spätere Studien haben genauer hingesehen, und das Bild ist ernüchternd.

Bisbee et al. ließen ChatGPT (Version 3.5) mit verschiedenen Personas Sympathiewerte für elf gesellschaftliche und politische Gruppen vergeben und verglichen sie mit den echten Antworten der American National Election Study 2016 bis 2020. Die Durchschnittswerte passten gut. Das gilt für die Gesamtstichprobe: In Untergruppen nach Partei und Herkunft wichen die synthetischen Werte um etwa 10 bis 20 Punkte auf der 100-Punkte-Skala ab (2024, S. 406). Für statistische Schlüsse taugten die synthetischen Daten trotzdem nicht: Die Antworten streuten weniger als bei echten Befragten, Regressionskoeffizienten wichen oft signifikant ab, kleine Änderungen an der Formulierung des Prompts veränderten die Verteilung, und derselbe Prompt lieferte innerhalb von drei Monaten signifikant andere Ergebnisse (ebd., S. 401). 48 % der Koeffizienten aus den ChatGPT-Daten unterschieden sich signifikant von denen aus der echten Umfrage, und in 32 % dieser Fälle drehte sich sogar das Vorzeichen um (ebd., S. 402-403). Die Streuung war besonders gering bei Fragen zu ethnischen und religiösen Gruppen (ebd., S. 406).

Für Deutschland haben von der Heyde et al. geprüft, ob GPT-3.5 die Wahlentscheidung vorhersagen kann. Sie bildeten die Befragten der German Longitudinal Election Study 2017 als synthetische Stichprobe nach. Das Modell sagte die Wahlentscheidung nicht genau vorher und war zugunsten von Grünen und Linken verzerrt. Es traf die Tendenzen „typischer“ Wählergruppen, etwa von Menschen mit fester Parteibindung, verfehlte aber komplexere Einflüsse auf die Wahlentscheidung (2026). Die frei zugängliche Vorabfassung nennt die Größenordnung: 1.905 nachgebildete Befragte mit je 13 Merkmalen, und im Schnitt stimmten nur 46 % der Vorhersagen mit der Angabe der jeweiligen Person überein. Überschätzt wurden Grüne, Linke und Nichtwähler, unterschätzt FDP und AfD (Vorabfassung 2024, S. 13 und 18-19).

Wang et al. beschreiben zwei Grenzen, die nach ihrer Analyse in der Art liegen, wie heutige Sprachmodelle trainiert werden. Erstens stellen die Modelle Gruppen falsch dar: Sie geben eher wieder, was Außenstehende über eine Gruppe denken, als was deren Mitglieder selbst sagen. Zweitens ebnen sie die Vielfalt innerhalb einer Gruppe ein, weil sie darauf trainiert sind, die wahrscheinlichste Antwort zu geben (2025, S. 2 der arXiv-Fassung). Geprüft haben sie das an vier Sprachmodellen und mit 3.200 Teilnehmenden aus 16 demografischen Gruppen in den USA (ebd., S. 1). GPT-3.5 und GPT-4 nutzten in je 100 Antworten meist nur drei von fünf möglichen Antwortstufen (ebd., S. 6). Gegenmittel wie eine höhere „Temperatur“, also mehr Zufall in der Ausgabe, verringern die Probleme, beseitigen sie aber nicht (ebd., S. 2 und 7-8).

Schon zuvor hatten Santurkar et al. neun Sprachmodelle mit 1.498 Fragen aus Umfragen des Pew Research Center geprüft (2023, S. 29972). Die Meinungen der Modelle wichen erheblich von denen von 60 US-Bevölkerungsgruppen ab, auch wenn man die Modelle gezielt auf eine Gruppe ausrichtete (ebd., S. 29971 und 29977). Schlecht vertreten waren unter anderem Menschen ab 65 und Verwitwete (ebd., S. 29976).

Warum ist das so? Ein Sprachmodell hat aus Texten gelernt, die schon geschrieben sind. Es kann gut wiedergeben, was über eine Gruppe typischerweise gesagt wird. Aus allgemeinen Trainingstexten lässt sich nicht verlässlich ableiten, was einzelne Menschen abweichend denken, wie sie ein Produkt beurteilen, das es noch nicht gibt, oder wie Ihre Belegschaft in diesem Herbst über die neue Schichtplanung urteilt. Das ist meine vereinfachte Lesart. Wang et al. führen die Einebnung ebenfalls auf die Art des Trainings zurück: Belohnt wird die wahrscheinlichste Antwort (2025, S. 2 der arXiv-Fassung). Das erklärt, warum der Durchschnitt oft passt und die Streuung nicht: Ein Modell, das das Typische vorhersagt, produziert zu wenige untypische Antworten.

Stand der Forschung. Die Studien in der Tabelle arbeiten mit Sprachmodellen der Jahre 2020 bis 2023, von GPT-3 bis GPT-4. Neuere Modelle und Verfahren können einzelne Schwächen verringern. Ein Beispiel ist ein Preprint von Park et al. Das Team ließ 1.052 Menschen in den USA je rund zwei Stunden lang interviewen und baute aus jedem Interview einen KI-Agenten auf der Grundlage von GPT-4o (2024, S. 3 und 5). Diese Agenten sagten die Antworten ihrer Vorbilder auf Fragen des General Social Survey mit 83 % der Genauigkeit vorher, mit der die Menschen selbst ihre Antworten zwei Wochen später wiederholten. Agenten, die nur Alter, Geschlecht, Herkunft und politische Haltung kannten, kamen auf 74 % (ebd., S. 6-7). Das ist ein beachtliches Ergebnis, und es stützt den Grundsatz eher, als dass es ihn aufhebt: Die bessere Simulation gelang, weil man die Menschen vorher ausführlich befragt hatte. Die Autoren halten selbst fest, dass ihre Auswertung Treffer bei einzelnen Personen misst und nicht zeigt, ob die Agenten auch die Zusammenhänge zwischen Einstellungen in einer Stichprobe richtig wiedergeben (ebd., S. 11).

Für die Praxis. Ein Silicon Sample besteht aus Antworten, die ein Modell erzeugt hat. Es ist keine Stichprobe befragter Menschen, sondern eine Vorhersage darüber, was eine solche Stichprobe sagen würde. Das gilt auch für bessere Modelle. Ob die Vorhersage stimmt, wissen Sie erst, wenn Sie Menschen gefragt haben.

Wo helfen KI und synthetische Daten wirklich?

Das bedeutet nicht, dass KI in der Umfrageforschung nichts zu suchen hätte. Sie gehört nur an eine andere Stelle als an die der Befragten.

Sarstedt et al. haben die Studien zu Silicon Samples für die Konsumenten- und Marketingforschung ausgewertet. Die Ergebnisse unterscheiden sich je nach Bereich erheblich. Besonders vielversprechend seien Silicon Samples in den frühen Schritten des Forschungsprozesses, etwa im qualitativen Pretest und in Pilotstudien (2024, S. 1254). Ihr Beispiel: GPT-4 erkannte in der Aussage „I'm satisfied with the products and services of the company“, dass sie zwei Dinge auf einmal abfragt, Produkte und Service (ebd., S. 1256). Auch Argyle et al. sehen den Nutzen vor der eigentlichen Erhebung, um Frageformulierungen zu erproben, Messungen zu sichten, wichtige Zusammenhänge auszuwählen und Analysepläne zu entwerfen, bevor man Daten von Menschen erhebt (2023, S. 349).

Daraus ergeben sich vier sinnvolle Einsätze:

Den Fragebogen entwerfen und prüfen. Ein KI-Assistent kann einen ersten Entwurf schreiben und einen fertigen Entwurf auf doppelte, suggestive oder unklare Fragen und unausgewogene Skalen durchgehen. Entscheiden müssen Sie selbst. Ein Prompt dafür kann so aussehen: „Prüfe diesen Fragebogen auf doppelte, suggestive und unklare Fragen und auf unausgewogene Skalen. Nenne jeweils die Stelle, das Problem und einen Vorschlag. Ändere nichts selbst.“ Wie ein guter Fragebogen aufgebaut ist, steht im Artikel Fragebogen gestalten.

Hypothesen vor dem Feld. Was könnten Gründe für Kündigungen sein, welche Antwortoptionen fehlen in einer Liste? Ein Modell liefert Ideen, auf die Sie allein vielleicht nicht gekommen wären. Ob sie zutreffen, prüft die Befragung.

Testdaten statt Ergebnisdaten. Erfundene, also synthetische Antworten eignen sich, um vor dem Start ausgewählte Filterwege, den Export und die Auswertung zu prüfen. Über die Ansichten echter Befragter sagen Testantworten nichts. Löschen Sie solche Testantworten vor dem Start, damit sie nicht in die Ergebnisse geraten. In QUESTIONSTAR können Sie solche Testdaten direkt in der Umfrage generieren und danach wieder löschen. Ist ein KI-Assistent über die MCP-Schnittstelle verbunden, kann auch er Testantworten anlegen und wieder löschen.

Offene Antworten auswerten. Ein KI-Assistent kann Hunderte Freitexte vorsortieren und Themen, Häufigkeiten und passende Originalzitate zur Prüfung vorschlagen. Die Antworten stammen dabei von Menschen, die KI hilft nur beim Lesen. Prüfen Sie Stichproben der Zuordnung selbst. Geben Sie Freitexte nur an einen Assistenten, dessen Datenverarbeitung Sie geprüft haben, denn Freitexte enthalten oft Namen und andere persönliche Angaben.

Und synthetische Antworten als Ergebnis? Wang et al. nennen selbst Fälle, in denen der Nutzen überwiegen kann: wenn synthetische Antworten echte nur ergänzen, etwa in Pilotstudien, wenn eine Studie sonst unbezahlbar wäre oder wenn die Teilnahme Menschen mit psychisch belastenden Inhalten konfrontieren könnte (2025, S. 2 und 10 der arXiv-Fassung). Für diese Fälle geben Sarstedt et al. zwei klare Regeln mit. Vergleichen Sie Silicon Samples immer mit einer menschlichen Vergleichsstichprobe, auch wenn das einen Teil des Zeit- und Kostenvorteils aufzehrt (2024, S. 1263). Und verwerfen Sie synthetische Daten, die keine Streuung zeigen, sondern nur eine einzige „richtige Antwort“ (ebd., S. 1264). Wer Sprachmodelle ohne ausreichende Reflexion oder für Aufgaben einsetzt, für die sie nicht gebaut sind, wird nach ihrem Fazit voraussichtlich in die Irre geführt (ebd., S. 1266).

Fünf Fragen an Anbieter synthetischer Befragter
1. Mit welcher menschlichen Stichprobe wurde verglichen, zu meinem Thema und in meiner Zielgruppe? (Argyle et al. 2023, S. 341; Sarstedt et al. 2024, S. 1263)
2. Stimmt neben dem Mittelwert auch die Streuung? (Sarstedt et al. 2024, S. 1264)
3. Stimmen auch Zusammenhänge und Untergruppen? (Bisbee et al. 2024, S. 401 und 406)
4. Welches Modell, welche Version und welches Datum, und wie stabil bleiben die Ergebnisse bei Wiederholung? (Bisbee et al. 2024, S. 401)
5. Woher soll das Modell etwas über mein neues Produkt oder meine Belegschaft wissen?

Umfrage, Daten oder KI: Was nehme ich wann?

Schnell stellt vor jede Befragung eine Reihe von Prüffragen. Gibt es eine genaue Fragestellung? Gibt es Alternativen zu einem Survey? Stehen der Erhebung psychologische oder soziale Hindernisse im Weg? Reichen Zeit und Mittel? Fällt eine dieser Prüfungen negativ aus, steht in seinem Schema: Stopp (2019, S. 5-6). Das folgende Schema überträgt diesen Gedanken auf die heutige Lage mit Verhaltensdaten und KI.

In der Praxis landen die meisten Projekte nicht bei einer einzigen Quelle, sondern bei einer Kombination. So verteilt sich die Arbeit:

Der wichtigste Satz im Schema steht ganz oben: Was wollen Sie wissen, und wofür? Ohne klare Forschungsfrage oder Entscheidung hilft auch eine zusätzliche Umfrage nicht weiter. Schnell nennt es weitgehend sinnlos, Daten zu sammeln, die lediglich „interessant“ erscheinen (2019, S. 7).

Am stärksten zusammen: das Was aus den Daten, das Warum aus der Befragung

Die Kombination von Methoden zum selben Thema heißt in der Methodenlehre Triangulation (Marx 2026, Folie 16). Malhotra und Birks halten fest, dass sich außer bei Scannerdaten nur wenige Projekte allein auf Beobachtung stützen, und nennen die Verbindung von Beobachtung und Befragung fruchtbar (2007, S. 290). Schnell betont, dass man für valide Daten über Verhalten das Verhalten im Zeitablauf beobachten muss, statt es durch Befragung zu erschließen. Zugleich erwartet er, dass Surveys vor allem dadurch bedeutsam bleiben, dass sich Befragungen mit Daten aus anderen Quellen verknüpfen lassen, etwa mit Transaktions-, Mobilitäts- und Sensordaten oder Verwaltungsdaten (2019, S. 377). Er geht dabei weiter, als es einem Umfrage-Anbieter lieb sein kann: In solchen Projekten seien Befragungsdaten nur noch ein kleiner Teil der Datenerhebung (ebd.).

So sieht das in drei typischen Fällen aus:

Online-Shop. Die Webanalyse zeigt, dass viele Besucher auf der Versandseite abbrechen. Eine kurze Befragung, die genau an dieser Stelle erscheint, fragt nach dem Grund: Versandkosten, Lieferzeit, fehlende Zahlungsart oder nur ein Preisvergleich? Mit den Antworten grenzen Sie die Ursachen ein und wissen, welche Änderung Sie zuerst prüfen.

Belegschaft. Die Personalstatistik zeigt, dass in einem Bereich ungewöhnlich viele Menschen kündigen. Ob es an der Führung liegt, am Gehalt, an der Arbeitslast oder an einem Wettbewerber in der Nachbarschaft, steht nicht in der Statistik. Das fragen Sie in einer Mitarbeiterbefragung, und zwar so, dass ehrliche Antworten ungefährlich sind.

Abschlussarbeit. Bevor Sie selbst befragen, prüfen Sie, ob es zu Ihrer Frage schon Daten gibt: frühere Studien, öffentliche Statistiken, Datensätze in Archiven. Die eigene Befragung bringt dann das Stück, das in den vorhandenen Daten fehlt. Wie Sie die eigene Umfrage in der Abschlussarbeit planen, steht im Artikel Wie schreibe ich meine Abschlussarbeit.

Ein Hinweis zur Verknüpfung: Wer Antworten aus einer Befragung mit Kundendaten oder Personaldaten einer bestimmten Person zusammenführt, verarbeitet personenbezogene Daten und muss das den Befragten offen sagen. Anonym ist eine solche Befragung dann nicht mehr. Was das rechtlich bedeutet, steht im Artikel Datenschutz bei Online-Umfragen. Oft reicht es, auf Gruppenebene zu vergleichen, etwa nach Bereich oder Tarif, ohne Einzelpersonen zu verknüpfen.

Was können Umfragen nicht?

Wer Umfragen verteidigt, sollte auch ihre Schwächen nennen. Die Literatur ist hier deutlich.

Befragte wissen nicht alles über sich. Malhotra und Birks weisen darauf hin, dass Befragte sich ihrer Motive oft nicht bewusst sind und deshalb keine genauen Antworten geben können, und dass feste Antwortvorgaben bei Überzeugungen und Gefühlen an Gültigkeit verlieren können (2007, S. 266). Die Umfrage zwingt den Befragten außerdem die Sprache und Logik der Forschenden auf (ebd.).

Erinnerung hat Grenzen. Wer tatsächliches Verhalten wissen will, sollte nicht nach Details fragen, die Jahrzehnte zurückliegen (Schnell 2019, S. 7).

Befragung verändert, was sie misst. Möhring und Schlütz nennen die Befragung hoch reaktiv: Jede Messung beeinflusst die soziale Realität, die sie abbilden soll. Ein Beispiel ist die soziale Erwünschtheit (2019, S. 7). Wenn Befragte arbeits- oder strafrechtliche Folgen fürchten müssen, liegt es sogar in ihrem rationalen Interesse, nicht wahrheitsgemäß zu antworten (Schnell 2019, S. 8). Wie Sie dem begegnen, steht im Artikel Soziale Erwünschtheit.

Eine Antwort kostet nichts. Jacob et al. erinnern daran, dass Befragungen psychische Low-Cost-Situationen sind: Wer auch ohne Meinung oder Kenntnis eine inhaltliche Antwort gibt, hat davon keine Nachteile und wirkt in der Situation informiert. Sie folgern daraus aber nicht, dass man auf Befragungen verzichten sollte, sondern dass das Messinstrument besondere Sorgfalt verdient (2019, S. 5).

Absicht ist noch kein Verhalten. Wer in der Umfrage sagt, er würde das neue Angebot nutzen, hat es noch nicht gekauft. Beobachtung misst tatsächliches Verhalten statt berichteter Absichten (Malhotra und Birks 2007, S. 290), und für gültige Daten über Verhalten muss man nach Schnell das Verhalten selbst beobachten (2019, S. 377). Lesen Sie Antworten auf Absichtsfragen deshalb als Bekundung von Interesse und prüfen Sie sie, sobald es Verhaltensdaten gibt.

Wer antwortet, entscheidet über das Ergebnis. Eine Umfrage beschreibt die Menschen, die geantwortet haben. Ob das die Menschen sind, über die Sie etwas sagen wollen, hängt von Auswahl und Rücklauf ab. Mehr dazu in den Artikeln Stichprobenverfahren, Rücklaufquote und Repräsentativität.

Keine dieser Schwächen ist ein Argument für Silicon Samples. Ein Sprachmodell kennt Ihre konkreten Befragten nicht, und seine eigenen Schieflagen kommen hinzu. Es sind Argumente für eine gut gemachte Umfrage und dafür, Umfrage und Daten zusammen zu lesen.

KI und QUESTIONSTAR: Assistent für die Umfrage, kein Ersatz für Befragte

Werbung in eigener Sache, aber mit klarer Grenze. QUESTIONSTAR erzeugt keine synthetischen Befragten und keine KI-Antworten als Ergebnisdaten. Die KI hilft Ihnen bei der Umfrage, die Antworten kommen von Menschen.

Über die MCP-Schnittstelle. Mit der MCP-Schnittstelle verbinden Sie KI-Assistenten wie Claude oder ChatGPT direkt mit Ihren QUESTIONSTAR-Umfragen. Der Assistent kann dann in Ihrem Auftrag eine Umfrage anlegen und Fragen formulieren, den Entwurf mit der Prüfliste von QUESTIONSTAR durchgehen und die Stellen auflisten, die er für problematisch hält. Nach der Erhebung liest er die Antworten, fasst offene Antworten zu Themen zusammen, erstellt Kreuztabellen und rechnet Korrelationen, t-Tests und Regressionen. Schreibende Aufrufe sind echte Änderungen in Ihrem Konto, gute KI-Clients fragen vorher nach Ihrer Erlaubnis.

Was der Assistent sieht und was nicht. Wenn der Assistent Antworten liest oder exportiert, enthalten sie keine Namen, E-Mail-Adressen oder anderen Kontaktdaten der Befragten. Fragen, die Sie als personenbezogen markieren, werden bei eingeschalteter Einstellung ebenfalls nicht übergeben. Freitexte ohne Markierung können trotzdem Persönliches enthalten. Und prüfen Sie Ergebnisse, die ein Assistent rechnet, so, wie Sie die Arbeit einer neuen Kollegin prüfen würden.

Die Befragung selbst. Die eigentliche Arbeit bleibt die Befragung echter Menschen. Sie laden Ihre Befragten persönlich ein. Das geht auch im kostenlosen Tarif. Sie erinnern nur die, die noch nicht geantwortet haben, und werten in QUESTIONSTAR aus oder exportieren die Rohdaten als XLSX, CSV oder SPSS.

Checkliste: Brauche ich eine Umfrage?

1. Schreiben Sie auf, welche Forschungsfrage Sie beantworten oder welche Entscheidung Sie vorbereiten wollen.
2. Prüfen Sie, ob die Antwort schon vorliegt: in eigenen Daten, früheren Studien oder öffentlichen Datenarchiven.
3. Geht es um registriertes Verhalten (Käufe, Klicks, Nutzung, Zeiten)? Dann zuerst die Daten auswerten.
4. Geht es um Gründe, Einstellungen, Absichten, Wissen oder Menschen außerhalb Ihrer Daten? Dann befragen.
5. Nutzen Sie KI für Entwurf, Prüfung, Hypothesen und Testdaten, nicht als Ersatz für Befragte.
6. Wenn Sie doch ein Silicon Sample erstellen, vergleichen Sie es mit echten Antworten und prüfen Sie die Streuung, nicht nur den Mittelwert.
7. Lesen Sie die Ergebnisse aus Daten und Befragung zusammen und sagen Sie den Befragten offen, wenn Sie Antworten mit anderen Daten verknüpfen.

Häufige Fragen: Umfragen, Big Data und KI

Sind Umfragen noch zeitgemäß?

Ja, für Fragen nach Gründen, Einstellungen, Absichten und Wissen. Diese Dinge sind der direkten Beobachtung entzogen und nur indirekt durch Befragung zu erfahren (Jacob et al. 2019, S. 5). Für tatsächliches, registriertes Verhalten sind vorhandene Daten oft die bessere Quelle (Schnell 2019, S. 8-9).

KI statt Umfrage: Kann KI Befragte ersetzen?

Bisher nicht als verlässlicher Ersatz. Bisbee et al. fanden bei ChatGPT 3.5 ähnliche Mittelwerte wie in der echten Umfrage, aber zu wenig Streuung, abweichende Zusammenhänge und instabile Ergebnisse (2024, S. 401). Ein Preprint von Park et al. zeigt mit GPT-4o bessere Vorhersagen für einzelne Personen, nachdem diese ausführlich interviewt worden waren, prüft aber nicht die Zusammenhänge zwischen Einstellungen in einer Stichprobe (2024, S. 6-7 und 11). Gut eignet sich KI für Entwurf, Prüfung und Pretest eines Fragebogens (Sarstedt et al. 2024, S. 1254).

Was sind synthetische Befragte oder Silicon Samples?

Ein Silicon Sample ist eine künstliche Stichprobe: Ein Sprachmodell bekommt Profile von Personen, etwa Alter, Bildung und politische Haltung, und erzeugt dazu passende Antworten auf die Fragen (Argyle et al. 2023, S. 337). Das Ergebnis ist eine Vorhersage darüber, was Menschen sagen würden, keine Messung.

Was ist der Unterschied zwischen Big Data und einer Umfrage?

Big Data bezeichnet große, meist nebenbei entstandene Datenbestände, eine Umfrage dagegen eine Methode, Daten gezielt zu erheben. Für die hier betrachteten Verhaltensdaten gilt: Sie zeigen registriertes Verhalten oft genauer als Selbstauskünfte, lassen Motive, Einstellungen und Präferenzen aber nur indirekt erkennen (Malhotra und Birks 2007, S. 290). Eine Umfrage erhebt Antworten auf Ihre Fragen und kann auch Menschen erreichen, die in Ihren eigenen Daten nicht vorkommen.

Wann ist eine Beobachtung oder Datenanalyse besser als eine Befragung?

Wenn es um Verhalten geht, an das sich Menschen schlecht erinnern, das ihnen nicht bewusst ist oder über das sie nicht sprechen wollen (Möhring und Schlütz 2019, S. 9). Und wenn die Information schon in Datenbanken vorliegt: Dann bieten solche prozessproduzierten Daten häufig Vorteile (Schnell 2019, S. 9).

Wie kombiniert man Verhaltensdaten und Befragung?

Die Daten zeigen, wo etwas auffällt, die Befragung ergänzt, welche Gründe die Menschen selbst nennen. Ein Beispiel: Die Webanalyse zeigt Abbrüche auf der Versandseite, eine kurze Befragung an dieser Stelle fragt nach dem Grund. Die Kombination mehrerer Methoden zum selben Thema heißt Triangulation (Marx 2026, Folie 16).

Quellen

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C. und Wingate, D. (2023). Out of One, Many: Using Language Models to Simulate Human Samples. Political Analysis, 31(3), 337-351. DOI 10.1017/pan.2023.2.

Bisbee, J., Clinton, J. D., Dorff, C., Kenkel, B. und Larson, J. M. (2024). Synthetic Replacements for Human Survey Data? The Perils of Large Language Models. Political Analysis, 32(4), 401-416. DOI 10.1017/pan.2024.5.

von der Heyde, L., Haensch, A.-C. und Wenz, A. (2026). Vox Populi, Vox AI? Using Large Language Models to Estimate German Vote Choice. Social Science Computer Review, 44(3), 549-571 (online zuerst 2025). DOI 10.1177/08944393251337014. Vorabfassung 2024 unter dem Titel «Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion», arXiv:2407.08563.

Jacob, R., Heinz, A. und Décieux, J. P. (2019). Umfrage. Einführung in die Methoden der Umfrageforschung (4. Aufl.). Berlin/Boston: De Gruyter Oldenbourg.

Lazer, D., Kennedy, R., King, G. und Vespignani, A. (2014). The Parable of Google Flu: Traps in Big Data Analysis. Science, 343(6176), 1203-1205. DOI 10.1126/science.1248506.

Malhotra, N. K. und Birks, D. F. (2007). Marketing Research. An Applied Approach (3rd European edition). Harlow: Pearson Education.

Marx, P. (2026). Grundlagen der Umfrageforschung. Foliensatz, Folien 6, 10, 14 und 16 (Kapitel 1). QUESTIONSTAR. Lehrbuch.

Möhring, W. und Schlütz, D. (2019). Die Befragung in der Medien- und Kommunikationswissenschaft. Eine praxisorientierte Einführung (3. Aufl.). Wiesbaden: Springer VS.

Park, J. S., Zou, C. Q., Kamphorst, J., Egan, N., Shaw, A., Hill, B. M., Cai, C., Morris, M. R., Liang, P., Willer, R. und Bernstein, M. S. (2024). LLM Agents Grounded in Self-Reports Enable General-Purpose Simulation of Individuals. Preprint, arXiv:2411.10109. Seitenangaben nach Fassung 3 vom 28.06.2026, erste Fassung 2024 unter dem Titel «Generative Agent Simulations of 1,000 People».

Santurkar, S., Durmus, E., Ladhak, F., Lee, C., Liang, P. und Hashimoto, T. (2023). Whose Opinions Do Language Models Reflect? Proceedings of the 40th International Conference on Machine Learning, PMLR 202, 29971-30004. proceedings.mlr.press/v202/santurkar23a.html.

Sarstedt, M., Adler, S. J., Rau, L. und Schmitt, B. (2024). Using large language models to generate silicon samples in consumer and marketing research: Challenges, opportunities, and guidelines. Psychology & Marketing, 41(6), 1254-1270. DOI 10.1002/mar.21982.

Schnell, R. (2019). Survey-Interviews. Methoden standardisierter Befragungen (2. Aufl.). Wiesbaden: Springer VS. DOI 10.1007/978-3-531-19901-6.

Wang, A., Morgenstern, J. und Dickerson, J. P. (2025). Large language models that replace human participants can harmfully misportray and flatten identity groups. Nature Machine Intelligence, 7(3), 400-411. DOI 10.1038/s42256-025-00986-z. Seitenangaben nach der frei zugänglichen Fassung arXiv:2402.01908, Fassung 3 vom 03.02.2025.

Ich wünsche Ihnen gute Daten, eine kluge KI an Ihrer Seite und Befragte, die Ihnen sagen, was in keiner Datenbank steht.

Übrigens, das hier ist verwandt:

• Grundlagen der Umfrageforschung
• Repräsentativität: Wann ist eine Umfrage repräsentativ?
• Soziale Erwünschtheit: heikle Fragen richtig stellen

Dr. Paul Marx

Autor: Dr. Paul Marx
Dr. Paul Marx ist Gründer und Geschäftsführer von QUESTIONSTAR und war Professor für Marketing an der Universität Siegen.