Umfragedaten bereinigen: Welche Fälle zählen?

Datenbereinigung bei Umfragen: Abbrüche, Duplikate, Speeder, Straightliner, „weiß nicht“ und fehlende Werte. Mit Regeln, Rechenbeispiel und Checkliste.

In die Auswertung gehören die Fälle, die zur Zielgruppe gehören, nur einmal vorkommen und die Fragen erkennbar gelesen haben. Testantworten, Duplikate und Abbrüche vor der ersten Kernfrage schließen Sie aus, auffällig schnelle oder gleichförmige Fälle erst nach einer Prüfung und nach Regeln, die Sie festgelegt haben, bevor Sie die Ergebnisse kennen. Fehlende Antworten zählen Sie nicht stillschweigend mit, sondern weisen sie aus: Zu jeder Zahl im Bericht gehört die Angabe, wie viele Antworten dahinterstehen (die Basis, kurz n), und „weiß nicht“ zählt als Antwort, aber nicht als Stufe der Skala.

Dieser Artikel beantwortet fünf Fragen der Reihe nach:

1. Was heißt Datenbereinigung, und in welcher Reihenfolge gehen Sie vor?
2. Welche Fälle zählen: Abbrüche, Testantworten, Duplikate?
3. Wie erkennen Sie Speeder (zu schnell), Straightliner (immer dieselbe Spalte) und unplausible Antworten?
4. Was unterscheidet „weiß nicht“ von einem fehlenden Wert, und was tun mit Lücken?
5. Wie verändern diese Entscheidungen Prozentwerte und Mittelwerte, und wie berichten Sie sie?

In Auswertungen aus Unternehmen und Hochschulen sehe ich es hin und wieder: Nicht der einzelne Speeder verschiebt das Ergebnis, sondern die stille Entscheidung, durch welche Zahl geteilt wird. Das Rechenbeispiel weiter unten zeigt, wie groß dieser Effekt werden kann. Dort ändert das Aussortieren auffälliger Fälle den Anteil zufriedener Kundinnen und Kunden um weniger als einen Prozentpunkt, die Wahl der Basis verschiebt ihn zwischen 55,2 % und 64,4 %, bei denselben Daten. Das Beispiel ist erfunden und kein Gesetz. In diesem Artikel geht es deshalb um beides: um das Aussortieren und um die Basis.

Was heißt Datenbereinigung bei Umfragen?

Datenbereinigung ist der Schritt zwischen Export und Auswertung: Sie prüfen den Datensatz auf Fälle, die nicht hineingehören, und auf Werte, die nicht stimmen können. Nötig ist das auch online, denn auch dort gibt es Fehlcodes und Befragte, die aus Versehen oder mit Absicht falsche Angaben machen (Möhring und Schlütz 2019, S. 190). Die wichtigste Regel steht dort in einem Satz:

„Es ist ganz wichtig, die Datenbereinigung vor der Analyse vorzunehmen und alle Schritte genau zu dokumentieren, denn der Grat zwischen Bereinigung und Datenmanipulation ist schmal.“ (Möhring und Schlütz 2019, S. 190)

Daraus folgen vier Arbeitsregeln:

• Rohdaten einfrieren. Exportieren Sie den Datensatz nach Feldende einmal vollständig, speichern Sie ihn mit Datum und ändern Sie diese Datei nicht mehr.
• Auf einer Kopie arbeiten und markieren statt löschen. Legen Sie in der Arbeitskopie eine Spalte für den Ausschlussgrund an. So bleibt jeder Schritt umkehrbar. Angaben, über die sich Personen erkennen lassen, etwa IP-Adressen, entfernen Sie (Möhring und Schlütz 2019, S. 190), erst recht, bevor ein KI-Assistent die Daten bekommt.
• Regeln festlegen, bevor Sie Ergebnisse sehen. Wer erst die Ergebnisse ansieht und dann entscheidet, ab wann jemand „zu schnell“ war, wählt leicht die Grenze mit dem schöneren Ergebnis. Die Einstufung als unbrauchbar kann subjektiv sein, und das verzerrt die Ergebnisse (Malhotra und Birks 2007, S. 478). Schreiben Sie die Regeln deshalb vor dem Feldstart auf.
• Alles protokollieren. Zur Dokumentation gehören die Beschreibung der Bereinigung und eine Kopie der Regeln (Schnell 2019, S. 420).

Ausgangspunkt ist eine Grundauszählung, also einfache Häufigkeiten für alle Fragen. Darin sehen Sie fehlende Werte, unzulässige Codes und Fehler in der Filterführung (Möhring und Schlütz 2019, S. 190). Die Reihenfolge der Schritte kann je Studie abweichen (Leiner 2019, S. 248), wir gehen so vor:

Welche Fälle zählen? Abbrüche, Testantworten, Duplikate

Nicht zur Zielgruppe gehörend. Unbrauchbar ist ein Fragebogen von jemandem, der nicht teilnehmen sollte, oder einer, der nach dem Stichtag einging (Malhotra und Birks 2007, S. 477). Dazu gehören Ihre eigenen Testläufe und in der Regel die Antworten aus dem Pretest.

Duplikate. Dieselbe Person darf nur einmal zählen. Mit persönlichen Einladungslinks und eingeschalteter Sperre gegen mehrfaches Ausfüllen lässt sich jede Einladung nur einmal beantworten. Prüfen Sie dann nur noch, ob jemand doppelt in der Einladungsliste steht. Bei einem offenen Link gibt es kein sicheres Kennzeichen. Hinweise sind identische Freitexte, dieselbe Kontaktadresse oder lange identische Antwortfolgen in kurzem Abstand. Bei kurzen Fragebögen reichen identische Antworten allein nicht. Legen Sie vorher fest, welcher Datensatz bleibt, etwa der erste vollständige.

Abbrüche: ganz, teilweise oder gar nicht zählen?

Was als Abbruch oder unvollständiges Interview gilt und wie solche Fälle in den Datensatz kommen, müssen Sie entscheiden (Schnell 2019, S. 299), und zwar vor dem Start, wie im Artikel zur Rücklaufquote beschrieben. Drei Regeln sind üblich:

Leiner entfernt Fälle, bei denen wichtige Fragen fehlen, und hält den Wert unvollständiger Fälle für meist begrenzt: Sie helfen vor allem, Selbstselektion und problematische Fragen zu erkennen (Leiner 2019, S. 248). Dass Teilantworten zählen können, zeigen die Standards der Fachgesellschaft AAPOR: Sie kennen neben der strengen Rücklaufquote eine, die Teilinterviews mitzählt, legen die Grenze zwischen Abbruch und Teilinterview aber nicht endgültig fest (AAPOR 2016, zitiert nach Schnell 2019, S. 151).

Ich empfehle, vor dem Start festzulegen, ab welcher Seite ein Fragebogen als abgeschlossen gilt: nach den Fragen, die Sie für Ihr Ziel brauchen, und vor dem, was nur wünschenswert ist, etwa der Demografie am Ende. Dann zählen auch die Antworten derer, die danach aussteigen. Analysen über mehrere Fragen hinweg rechnen Sie nur mit Fällen, die alle beteiligten Fragen beantwortet haben.

In QUESTIONSTAR legen Sie diese Seite im Editor fest, und die Berichte zählen standardmäßig nur abgeschlossene Antworten. Prüfen Sie in jedem Fall, ob sich die Abbrecher von den anderen unterscheiden. Dafür brauchen Sie mindestens ein Merkmal, das früh im Fragebogen steht, siehe Demografie am Ende. Wie ein solcher Vergleich aussieht, zeigt das Rechenbeispiel.

Wie erkennen Sie Speeder, Straightliner und unplausible Antworten?

Manche Fälle sind vollständig, ihre Antworten bedeuten aber vermutlich nichts. Drei Zeichen sind üblich: zu schnell, zu gleichförmig, zu widersprüchlich. Keines davon ist ein Beweis.

Speeder: Wie schnell ist zu schnell?

Eine allgemeine Grenze, ab der eine Antwort zu schnell ist, gibt es nicht. Wie lange jemand braucht, hängt vom Kontext ab: von der Länge des Fragebogens, von der Vertrautheit mit dem Thema und von der Situation, etwa einer Vorlesung, einer Konferenz oder dem Smartphone unterwegs. Auch die Literatur gibt keine feste Schwelle vor. Leiner nennt seinen Grenzwert eine pragmatische Empfehlung (Leiner 2019, S. 242). Möhring und Schlütz raten, auffällig schnelle Fälle zu prüfen und nur bei Verdachtsmomenten zu entfernen (Möhring und Schlütz 2019, S. 190), und halten fest, dass sich die Antwortqualität von Speedern nach neueren Studien nicht deutlich unterscheidet (Greszki et al. 2015, zitiert nach Möhring und Schlütz 2019, S. 142, Fn. 60).

Als Speeder gelten Befragte mit extrem kurzer Antwortzeit (Möhring und Schlütz 2019, S. 142). Die folgenden Zahlen sind ein Ausgangspunkt, um Fälle zu markieren, nicht um sie zu entfernen.

Zu schnell, verglichen womit? „Zu schnell“ ist ein Vergleich: schneller, als man für diesen Fragebogen üblicherweise braucht. Bevor Sie einen Fall markieren, müssen Sie also wissen, wie lange man üblicherweise braucht. Naheliegend wäre der Durchschnitt aller Bearbeitungszeiten, also der Mittelwert. Gerade er führt hier in die Irre.

An einem Samstagmorgen holen zehn Nachbarn Brötchen beim Bäcker an der Ecke. Neun sind nach zehn Minuten wieder zu Hause. Der zehnte trifft vor dem Laden einen alten Bekannten und kommt erst nach zwei Stunden zurück. Wie lange braucht man zum Bäcker und zurück? Zehn Minuten, würde jeder der Nachbarn sagen. Der Durchschnitt sagt 21 Minuten, denn er rechnet die zwei Stunden des zehnten voll mit. So lange war keiner der neun unterwegs. Wer die Nachbarn an diesem Durchschnitt misst, muss die neun sogar für auffällig schnell halten: Sie waren in weniger als der Hälfte der Zeit zurück, obwohl sie ganz normal gegangen sind.

Mit den Bearbeitungszeiten einer Umfrage ist es ähnlich. Die meisten füllen den Fragebogen in einem Zug aus. Einige werden aufgehalten wie der zehnte Nachbar: Das Telefon klingelt, die Mittagspause kommt dazwischen, der Fragebogen bleibt im Browser offen und wird erst später abgeschickt. So kommen einzelne Fragebögen auf mehrere Stunden, und der Durchschnitt ist regelmäßig nach oben verzerrt (Jacob et al. 2019, S. 122). Messen Sie an ihm, sehen auch Befragte zu schnell aus, die sich ganz normal Zeit genommen haben.

Sie brauchen also die Zeit, die beim Bäcker jeder genannt hätte: die Zeit dessen, der in der Mitte steht, wenn sich alle nach ihrer Zeit in eine Reihe stellen. Diese Zeit heißt Median. Genau gesagt ist der Median der mittlere Wert einer der Größe nach geordneten Reihe: Vor ihm stehen ebenso viele Zeiten wie nach ihm. Höchstens die Hälfte der Befragten war also schneller und höchstens die Hälfte langsamer. Wie weit die Schnellsten und die Langsamsten von der Mitte entfernt sind, spielt für ihn keine Rolle. Ob der zehnte Nachbar nach zwei Stunden zurückkommt oder nach fünf, der Median bleibt bei zehn Minuten. Das ist hier gewollt: Gesucht ist, was üblich ist, und nicht, wie lange alle zusammen gebraucht haben. Deshalb gilt für die Bearbeitungszeit: Der Maßstab ist der Median, nicht der Mittelwert.

So gehen Sie mit Ihren eigenen Daten vor. Nehmen Sie die Bearbeitungszeiten der abgeschlossenen Fragebögen, ordnen Sie sie von der kürzesten zur längsten und lesen Sie die Zeit in der Mitte ab. Bei einer geraden Zahl von Fragebögen liegt der Median in der Mitte zwischen den beiden mittleren Zeiten. In Excel liefert ihn die Funktion MEDIAN, ohne dass Sie sortieren müssen. Dann vergleichen Sie jeden Fragebogen mit dem Median: Teilen Sie den Median durch die Zeit dieses Fragebogens. Das Ergebnis sagt, wievielmal so schnell jemand war wie der Befragte in der Mitte. 1 heißt gleich schnell, 2 heißt doppelt so schnell.

Hauptregel: der Index je Seite. Leiner hat in vier Studien geprüft, welche Kennzahlen absichtlich nachlässig ausgefüllte Fragebögen erkennen. Unter denen, die ohne Zusatzfragen auskommen, schnitt die Bearbeitungszeit am besten ab (Leiner 2019, S. 241). Sein Index der relativen Geschwindigkeit stellt denselben Vergleich an wie die Tabelle, nur für jede Seite einzeln: Der Median aller Befragten für diese Seite wird durch die Zeit geteilt, die die Person für die Seite gebraucht hat. Ergebnisse über 3 zählen als 3, und der Index ist der Durchschnitt dieser Werte über alle Seiten (Leiner 2019, S. 236). Ein Beispiel mit vier Seiten: Die Mediane der Seiten liegen bei 60, 150, 200 und 150 Sekunden. Eine Person braucht 10, 75, 100 und 75 Sekunden. Median geteilt durch Zeit ergibt 6, 2, 2 und 2. Die 6 zählt als 3, und der Durchschnitt aus 3, 2, 2 und 2 ist 2,25: Das ist der Index dieser Person. Durch die Obergrenze bleibt der Einfluss einer einzelnen Seite begrenzt, die jemand in wenigen Sekunden weggeklickt hat. Als bewusst großzügige Grenze nennt Leiner 2,0, also im Mittel doppelt so schnell wie der typische Befragte: Bei diesen Fällen müsse man annehmen, dass die Fragen gar nicht gelesen wurden (Leiner 2019, S. 242). Die Rechnung je Seite setzt voraus, dass Sie die Zeit je Seite haben, und sie hat einen Vorteil gegenüber der Gesamtzeit: Wer durch den Fragebogen eilt und auf einer Seite aufgehalten wird, kann im Index auffallen, obwohl die Gesamtzeit unauffällig bleibt.

Ersatzregel, wenn Sie nur die Gesamtzeit haben. Dann rechnen Sie wie in der Tabelle: Markieren Sie Fälle, die weniger als die Hälfte der Median-Dauer der abgeschlossenen Fälle gebraucht haben. Leiner hat auch die Gesamtzeit geprüft, sie erkannte nachlässige Fälle ähnlich gut wie der Index (Leiner 2019, S. 238, Tabelle 2). Einen Grenzwert für die Gesamtzeit nennt er nicht, die Hälfte des Medians ist unsere Übertragung seiner Grenze von 2,0. Als grobe Gegenprobe eignet sich die Lesezeit: Zhang und Conrad setzen je Frage 300 Millisekunden pro Wort an, und das ist langsamer als die übliche Lesegeschwindigkeit (Zhang und Conrad 2014, S. 129).

Markieren heißt noch nicht ausschließen. Entfernen Sie einen Fall nur, wenn ein zweites Zeichen dazukommt und Sie den Kontext der Befragung kennen. Zwei Einwände gegen jede Automatik:

• Eine kurze Zeit kann berechtigt sein. Filter können große Teile des Fragebogens ausgeblendet haben, oder jemand kennt sich aus und antwortet deshalb zügig (Leiner 2019, S. 231). Vergleichen Sie deshalb nur Fälle mit demselben Filterpfad. Bei Wissensfragen ist die Zeit kein gültiges Zeichen, und geübte Internetnutzer sind schneller, ohne nachlässig zu sein (Leiner 2019, S. 242).
• Jede Bereinigung hat Nebenwirkungen. Wer wahrscheinlich sinnlose Fälle entfernt, entfernt immer auch einige gültige, und die Bearbeitungszeit hängt mit Merkmalen wie dem politischen Interesse zusammen (Leiner 2019, S. 242).

Kurz gesagt: „Zu schnell“ heißt schneller als üblich, und was üblich ist, sagt der Median: die Zeit des Befragten in der Mitte. Der Durchschnitt taugt dafür nicht, weil wenige unterbrochene Fragebögen ihn nach oben ziehen. Markiert wird ein Fall mit einem Index je Seite über 2,0, ersatzweise mit einer Gesamtzeit unter der Hälfte des Medians. Ausgeschlossen wird er erst, wenn ein zweites Zeichen dazukommt und Sie den Kontext kennen.

QUESTIONSTAR misst die Zeit je Seite und für den gesamten Fragebogen, sortiert aber niemanden automatisch aus. Das ist eine bewusste Entscheidung: Ob eine schnelle Antwort nachlässig war oder von jemandem stammt, der das Thema gut kennt, lässt sich nur mit Kenntnis der Befragung beurteilen. Diese Kenntnis haben Sie, nicht die Software.

Straightlining und andere Muster in Matrixfragen

Straightlining heißt, dass jemand in einer Matrixfrage in jeder Zeile dieselbe Spalte anklickt. Malhotra und Birks zählen solche Fragebögen zu den möglicherweise unbrauchbaren, ihr Beispiel: nur die 4 in einer Reihe siebenstufiger Skalen (Malhotra und Birks 2007, S. 477). Neben der geraden Linie gibt es Diagonalen und Zickzackmuster (Leiner 2019, S. 231). Warum das Format dazu einlädt, steht unter Matrixfragen.

In einer Studie mit rund 5.800 Befragten eines Zufallspanels klickte, wer häufiger zu schnell antwortete, auch in mehr Matrixfragen eine gerade Linie (Zhang und Conrad 2014, S. 127-128, 131). Die beiden Zeichen stützen sich also gegenseitig.

Eine gerade Linie allein belegt aber wenig: Wer mit allem gleich zufrieden ist, antwortet achtmal gleich und meint es so. Aussagekräftig wird das Muster erst, wenn die Matrix gegenläufig formulierte Aussagen enthält: Wer „Der Service ist schnell“ und „Ich musste lange warten“ gleichermaßen bejaht, hat auf den Inhalt vermutlich nicht geachtet. Ohne solche Aussagen erzeugt Straightlining sogar besonders konsistente Daten und fällt in Konsistenzprüfungen nicht auf (Leiner 2019, S. 231). Dasselbe Bild erzeugt die Zustimmungstendenz, bei der jemand Aussagen unabhängig vom Inhalt bejaht (Soziale Erwünschtheit). Für die Bereinigung ist der Unterschied zweitrangig: In beiden Fällen bleibt unklar, wie viel die Antwort über den Inhalt aussagt.

Unplausible und widersprüchliche Antworten, Unsinn in Textfeldern

Konsistenzprüfungen suchen Werte außerhalb des zulässigen Bereichs, logische Widersprüche und Extremwerte (Malhotra und Birks 2007, S. 486), etwa wenn jemand ein Produkt nicht kennt und es zugleich häufig nutzt (Malhotra und Birks 2007, S. 487). Online verhindern Filter und Eingabeprüfungen vieles davon. Übrig bleiben Zahlenfelder, Kombinationen über mehrere Seiten und Textfelder mit Zeichenfolgen wie „asdf“. Ob jemand offene Fragen sinnvoll beantwortet hat, ist ein nützliches Zusatzzeichen bei verdächtigen Fällen (Leiner 2019, S. 242).

Prüfungen lassen sich auch in den Fragebogen einbauen, etwa Kontrollitems mit Anweisung („Bitte kreuzen Sie zur Kontrolle 5 an.“). Möhring und Schlütz halten Kontrollfragen für nicht unproblematisch (Möhring und Schlütz 2019, S. 111). Leiner empfiehlt dagegen, einige wenige offensichtlich unsinnige Aussagen in die Skalen einzustreuen. Sie erkannten nachlässige Fälle in einer Teilstichprobe besser als die Bearbeitungszeit, Kontrollitems mit Anweisung etwa gleich gut (Leiner 2019, S. 241-242). Eine Automatik gibt es nicht. Schumann schreibt über das Sammeln von Verdachtspunkten: „Wann dies der Fall ist, muss letztendlich subjektiv vom Forscher entschieden werden. Feste Regeln hierfür existieren nicht.“ (Schumann 2019, S. 58)

Entscheidungstabelle: Problem, Erkennen, Regel

Nach Malhotra und Birks kann der Ausschluss ganzer Fälle sinnvoll sein, wenn eine dieser Bedingungen zutrifft: Der Anteil der betroffenen Fälle ist klein (unter 10 %), die Stichprobe ist groß, die Betroffenen unterscheiden sich nicht erkennbar von den übrigen, ein großer Teil ihrer Antworten ist unbrauchbar, oder Antworten auf Schlüsselfragen fehlen (Malhotra und Birks 2007, S. 478). Ist nur ein kleiner Teil der Antworten einer Person betroffen, setzen Sie besser einzelne Werte auf „fehlend“ (ebd.).

„Weiß nicht“, „keine Angabe“ oder wirklich leer?

Nicht jede Zelle ohne Skalenwert ist ein fehlender Wert. Schnell warnt davor, alles unter „fehlende Werte“ zusammenzufassen, und trennt vier Formen: Frage nicht gestellt, trifft nicht zu, „weiß nicht“ und Verweigerung (Schnell 2019, S. 46). Online kommen Abbruch und übersprungene Frage dazu. „Weiß-nicht“-Angaben sind als Antwort zu werten (Möhring und Schlütz 2019, S. 190).

Hinter einer leeren Zelle steckt oft ein Filter. Im ALLBUS 2000 war der häufigste Grund für einen fehlenden Wert, dass die Frage gar nicht gestellt wurde (Schnell 2019, S. 49). Wer solche Zellen in die Basis nimmt, rechnet falsch, vorgerechnet unter Die richtige Basis.

„Weiß nicht“ ist keine Skalenstufe. Die Antwort gehört weder in den Mittelwert noch in die Basis, wenn Sie den Anteil der obersten Stufen berechnen, etwa den Anteil der Zufriedenen (die Top-Box). Wann Sie sie anbieten, steht im Artikel zur Ratingskala, was passiert, wenn sie versehentlich als Mitte gezählt wird, ist beim Skalenniveau vorgerechnet. Weglassen dürfen Sie die Antwort aber auch nicht: Ein hoher Anteil sagt etwas über die Frage oder über die Zielgruppe.

Im Export braucht jede Form ihren eigenen Code. Fehlende Angaben bekommen in der Datenmatrix einen eigenen Code, üblich sind 9 oder 99, sofern diese Zahl kein gültiger Wert sein kann (Jacob et al. 2019, S. 241, Fn. 2). Im Statistikprogramm kennzeichnen Sie solche Codes als fehlend, damit sie in keinen Mittelwert eingehen (Möhring und Schlütz 2019, S. 191). Und bei Häufigkeitsfragen: Wurde „null“ nicht ausdrücklich abgefragt, lässt sich „null Mal“ später nicht mehr von „keine Antwort“ unterscheiden (Schnell 2019, S. 46).

Fehlende Werte: listenweise, paarweise oder imputieren?

Übrig bleiben die echten Lücken: Jemand hat eine Frage gesehen und nicht beantwortet. Viele Lücken bei einer einzelnen Frage sprechen eher für ein Problem der Frage als der Befragten. Entscheidend ist, ob die Werte zufällig oder systematisch fehlen (Möhring und Schlütz 2019, S. 190). Anders gefragt: Hätten die, die eine Frage ausgelassen haben, anders geantwortet als die übrigen? Die Statistik unterscheidet drei Fälle (Schnell 2019, S. 162). Ihre englischen Abkürzungen begegnen Ihnen in Lehrbüchern und Gutachten: „missing“ heißt fehlend, „at random“ zufällig.

Welcher Fall vorliegt, ist oft schwer zu erkennen (Möhring und Schlütz 2019, S. 190). Ob manche Gruppen eine Frage häufiger auslassen, können Sie nachzählen. Ob das Auslassen von der fehlenden Antwort selbst abhängt, können Sie an den Daten nicht prüfen, denn genau diese Antwort fehlt. Schnell vermutet meist den mittleren: Die Ausfälle sind dann grundsätzlich korrigierbar, eine Korrektur ist aber auch nötig (Schnell 2019, S. 162). Für den Umgang gibt es drei Wege:

Für einzelne Prozentwerte und Mittelwerte bedeutet paarweise schlicht: je Frage alle gültigen Antworten. Wer Lücken mit dem Mittelwert füllt, unterstellt, dass die Schweigenden durchschnittlich geantwortet hätten, obwohl sie ebenso gut sehr hoch oder sehr niedrig hätten antworten können (Malhotra und Birks 2007, S. 487).

Ein allgemeines Rezept gibt es nicht. Welcher Weg passt, hängt von Ihrer Fragestellung und vom Kontext der Befragung ab. Auch Möhring und Schlütz machen die Wahl zwischen Ausschluss und Imputation vom konkreten Fall abhängig (Möhring und Schlütz 2019, S. 191). In der Auswertung von QUESTIONSTAR können Sie unbeantwortete Fragen einbeziehen oder ausschließen und in der Statistik anzeigen oder ausblenden. Die Entscheidung liegt bei Ihnen.

Ich halte mich an eine einfache Linie: gerechnet wird mit denen, die geantwortet haben. Fehlende Antworten berichte ich als Zahl, nehme sie aber nicht in die Basis. Warum jemand eine Frage ausgelassen hat, wissen wir nicht, und eine Antwort für ihn zu erraten, halte ich für riskant.

Falsch ist Imputation deshalb nicht. In manchen Fällen ist sie gut begründet, und für wissenschaftliche Veröffentlichungen gilt die multiple Imputation als Standard: So ordnet Schnell sie für die universitäre Statistik ein, nennt sie aber ausdrücklich „keine triviale Aufgabe“ (Schnell 2019, S. 170-171). Dahinter steht die Einschätzung, dass die meisten Ausfälle korrigierbar sind und eine Korrektur dann auch nötig ist (Schnell 2019, S. 162). Rechnen Sie also damit, dass Gutachterinnen und Gutachter danach fragen. Imputiert wird nach dem Export im Statistikprogramm, etwa in SPSS oder R. Dort stellen Sie auch ein, ob listenweise oder paarweise gerechnet wird, in Excel ist das eine Frage der Formel. Ein KI-Assistent kann das über die MCP-Schnittstelle vorbereiten, das Ergebnis prüfen Sie.

Manche Lücke entsteht gar nicht erst, wenn der Fragebogen eine passende Antwort anbietet: Eine Option wie „kann ich nicht beurteilen“ gehört dorthin, wo Wissen oder eine Meinung tatsächlich fehlen kann. Dann ist sie eine Antwort und keine Lücke, siehe Ratingskala.

Bei jedem Weg gilt: Das n zu nennen, korrigiert nichts. Fehlen Antworten nicht zufällig, bleibt das Ergebnis verschoben, und das gehört in den Bericht. Als Warnsignal gilt bei Malhotra und Birks ein Anteil fehlender Antworten von mehr als 10 % (Malhotra und Birks 2007, S. 487).

Durchgerechnet: von 640 Datensätzen zu 575 Fällen

Ob ein Unterschied zwischen zwei Gruppen mit Zufall vereinbar ist, klären Sie erst danach: Signifikanz und p-Wert, Kreuztabelle.

Was tun mit Ausreißern in Zahlenfragen?

Ausreißer, also vereinzelte extrem hohe oder niedrige Werte, beeinflussen den Mittelwert stark, den Median dagegen kaum (Schumann 2019, S. 145; Marx 2026, Folien 168-169).

Ein Extremwert muss kein Fehler sein, kann aber auf ein Problem hinweisen (Malhotra und Birks 2007, S. 487). Unterscheiden Sie:

• Unmögliche Werte (etwa 400 Arbeitsstunden pro Woche) setzen Sie auf „fehlend“. Der Fall bleibt.
• Verdächtige Werte wie die 99, die oft auch als Code für „keine Angabe“ dient, prüfen Sie am ganzen Fall.
• Mögliche, aber extreme Werte bleiben. Berichten Sie den Median und den Mittelwert mit und ohne diese Fälle.

Wie berichten Sie Ausschlüsse?

Wer Fälle ausschließt, berichtet das Verfahren, mit dem sie erkannt wurden, und ihre Anzahl (Malhotra und Birks 2007, S. 478). Jede Tabelle nennt, auf wen sich die Angaben beziehen, also die Basis (Möhring und Schlütz 2019, S. 192). Für das Beispiel genügt ein Absatz im Methodenteil:

„Eingeladen wurden 1.800 Kundinnen und Kunden über einen offenen Link im Newsletter. Der Export enthielt 640 Datensätze. Ausgeschlossen wurden 7 Testantworten, 4 Duplikate (identische Freitexte und Antwortfolgen innerhalb von zehn Minuten, behalten wurde der erste Datensatz), 38 Abbrüche vor der Kernfrage und 16 Fälle mit mindestens zwei von drei Zeichen: Index der relativen Geschwindigkeit über 2,0, berechnet aus den Zeiten je Seite (Leiner 2019), dieselbe Spalte in beiden Matrixfragen trotz gegenläufig formulierter Aussagen, unsinniger Text oder widersprüchliche Angaben. Die Regeln wurden vor Feldstart festgelegt. In die Auswertung gingen 575 Fälle ein, davon 58 Teilantworten. Fehlende Antworten wurden nicht ersetzt, die Basis ist je Frage angegeben. Ohne die 16 Ausschlüsse wegen Antwortqualität läge der Anteil Zufriedener bei 59,2 % (n = 581) statt bei 60,0 % (n = 565).“

Der letzte Satz ist eine Empfindlichkeitsprüfung: Er zeigt, ob Ihr Ergebnis an den Ausschlüssen hängt. Bewahren Sie Rohdaten, Arbeitskopie und Regeln mit Datum auf. Sinkt eine Gruppe durch Ausschlüsse oder Lücken unter Ihre Mindestgröße, bleibt sie ausgeblendet, siehe Mitarbeiterbefragung.

Und die Gewichtung? Sie kommt erst nach der Bereinigung (Schnell 2019, S. 299) und repariert keine fehlenden Antworten auf einzelne Fragen. Ob sie überhaupt hilft, steht unter Repräsentativität und Stichprobenverfahren.

Datenbereinigung mit QUESTIONSTAR

QUESTIONSTAR entscheidet nicht für Sie, welche Fälle zählen. Es liefert die Angaben, die Sie dafür brauchen, und lässt sich so einrichten, dass weniger zu bereinigen ist. Regeln mit mehreren Zeichen wenden Sie in der Arbeitskopie des Exports an, in Excel, SPSS oder R, oder Sie lassen einen KI-Assistenten die Fälle nach Ihren Regeln markieren. In Excel genügen eine Spalte „Ausschlussgrund“, MEDIAN für die Zeit und ZÄHLENWENN für die Basis.

• Testdaten getrennt halten. Testdaten lassen sich erzeugen und vor dem Feldstart löschen, siehe Pretest.
• Duplikate verhindern statt suchen. Mit der Einstellung „Mehrfaches Ausfüllen verhindern“ in der Teilnahmeberechtigung erkennt QUESTIONSTAR wiederkehrende Personen über Cookies oder über persönliche Links. Die Cookie-Sperre lässt sich umgehen, etwa mit einem anderen Browser. Bei persönlichen Links steckt die Kennung im Link, ein weitergeleiteter Link setzt allerdings die Sitzung des Absenders fort (Erkennung wiederkehrender Probanden). Gegen automatisierte Teilnahmen gibt es eine CAPTCHA-Abfrage.
• Abschluss festlegen. Im Editor bestimmen Sie eine Seite, ab der ein Fragebogen als abgeschlossen gilt, sobald die befragte Person diese Seite verlässt. Steht am Ende etwa die Demografie, die wünschenswert, aber für Ihr Ziel nicht nötig ist, zählen auch die Antworten derer, die dort aussteigen.
• Berichte zählen abgeschlossene Antworten. Jede Antwort hat einen Abschlussstatus, und in die Berichte gehen standardmäßig nur abgeschlossene Antworten ein. Eine nicht abgeschlossene Antwort können Sie in der Datenansicht von Hand als abgeschlossen markieren, dann geht auch sie in die Berichte ein.
• Abbrüche sehen. Das Rücklauf-Widget zeigt, wie viele Personen begonnen und abgeschlossen haben. Der Prozentwert dort ist die Beendigungsquote vor jeder Bereinigung: abgeschlossen geteilt durch begonnen.
• Bearbeitungszeit je Seite. QUESTIONSTAR misst die Zeit für jede Seite und für den gesamten Fragebogen. Automatisch aussortiert wird niemand, aus gutem Grund.
• Rohdaten ansehen, exportieren, einzelne Antworten löschen. Unter „Antworten anzeigen“ sehen Sie die Rohdaten und können einzelne Fälle prüfen oder exportieren (Instrumente im Dashboard). Der Export als XLSX, CSV oder SPSS-Datei ist Ihr eingefrorenes Original. Eine einzelne Antwort lässt sich in der Oberfläche auch löschen. Exportieren Sie vorher, damit das Original vollständig bleibt.
• Unbeantwortete Fragen und Ausweichantworten. In der Auswertung können Sie unbeantwortete Fragen einbeziehen oder ausschließen und in der Statistik anzeigen oder ausblenden. Als Ausweichantwort angelegt, zählt „kann ich nicht beurteilen“ in QUESTIONSTAR nicht in den Mittelwert. Für die Weiterverarbeitung außerhalb von QUESTIONSTAR prüfen Sie im Export, wie die Antwort kodiert ist.
• Mit einem KI-Assistenten prüfen. Über die MCP-Schnittstelle liest ein Assistent wie Claude oder ChatGPT die einzelnen Antworten samt Bearbeitungsdauer, Abschlussstatus und Zeitstempeln. Sagen Sie im Prompt ausdrücklich, welche Fälle zählen sollen, und prüfen Sie das Ergebnis nach.

Übrigens: Die wirksamste Bereinigung findet vor dem Feldstart statt. Persönliche Einladungslinks mit der Sperre gegen mehrfaches Ausfüllen verhindern die meisten Duplikate, auch im kostenlosen Tarif.

Checkliste: Datenbereinigung

• Regeln für Abbrüche, Duplikate, Speeder und Muster vor dem Feldstart aufgeschrieben, mit Datum. Festgelegt, ab welcher Seite ein Fragebogen als abgeschlossen gilt.
• Rohdaten einmal exportiert und unverändert gesichert, Arbeitskopie mit Spalte für den Ausschlussgrund angelegt, Grundauszählung angesehen.
• Testantworten, Fälle außerhalb der Zielgruppe und Duplikate entfernt und gezählt, Abbrecher mit den übrigen verglichen.
• Bearbeitungszeit am Median gemessen, je Seite oder ersatzweise an der Gesamtzeit, je Filterpfad. Schnelle Fälle und Muster markiert, ausgeschlossen nur mit einem zweiten Zeichen und mit Kenntnis des Kontexts.
• „Nicht gefragt“, „nicht erreicht“, „leer“, „weiß nicht“ und „möchte ich nicht beantworten“ getrennt kodiert.
• Je Frage die Basis n bestimmt und fehlende Antworten als Zahl berichtet, listenweisen Ausschluss und Imputation nur bewusst gewählt, Extremwerte geprüft und den Median berichtet.
• Fallfluss aufgeschrieben, Ergebnis mit und ohne Ausschlüsse verglichen.

Häufige Fragen zur Datenbereinigung

Was ist Datenbereinigung bei einer Umfrage?

Datenbereinigung ist die Prüfung des Datensatzes zwischen Export und Auswertung. Sie entfernen Testantworten, Duplikate und frühe Abbrüche, prüfen auffällige Fälle (sehr schnell, gleichförmig, widersprüchlich) und kennzeichnen fehlende Werte. Die Regeln stehen vor der Auswertung fest, jeder Schritt wird dokumentiert (Möhring und Schlütz 2019, S. 190).

Ab wann gilt jemand als Speeder?

Eine feste Grenze gibt es nicht, denn die Bearbeitungszeit hängt vom Kontext ab: von der Länge des Fragebogens, vom Thema und von der Situation. Als Ausgangspunkt zum Markieren dient Leiners Index der relativen Geschwindigkeit: Für jede Seite wird der Median durch die Zeit der Person geteilt, der Faktor bei 3 gekappt und über alle Seiten gemittelt. Ein Index über 2,0 gilt als besonders verdächtig (Leiner 2019, S. 236, 242). Haben Sie nur die Gesamtzeit, dient die Hälfte der Median-Dauer als Ersatzregel, das ist unsere Übertragung. Schließen Sie niemanden allein wegen der Zeit aus.

Was ist Straightlining?

Straightlining heißt, dass jemand in einer Matrixfrage in jeder Zeile dieselbe Antwort anklickt. Das kann Nachlässigkeit sein oder eine ehrliche, einheitliche Meinung. Gegenläufig formulierte Aussagen helfen bei der Prüfung. Straightlining tritt zudem häufiger zusammen mit Speeding auf (Zhang und Conrad 2014, S. 131).

Zählen abgebrochene Fragebögen mit?

Das hängt von Ihrer vorab festgelegten Regel ab. Ich empfehle, vor dem Start festzulegen, ab welcher Seite ein Fragebogen als abgeschlossen gilt: nach den Fragen, die Sie für Ihr Ziel brauchen. Wer danach aussteigt, zählt mit, und jede Zahl braucht ihre eigene Basis n. Prüfen Sie in jedem Fall, ob sich Abbrecher von den übrigen unterscheiden.

Wie gehe ich mit fehlenden Werten um?

Ein allgemeines Rezept gibt es nicht, es kommt auf die Fragestellung an. Eine einfache Linie für Prozentwerte und Mittelwerte: Rechnen Sie mit denen, die geantwortet haben, und berichten Sie die fehlenden Antworten als Zahl. Der Ausschluss aller Fälle mit einer Lücke kann verzerren, wenn sich Personen mit Lücken von den anderen unterscheiden (Malhotra und Birks 2007, S. 487). Das Auffüllen von Lücken (Imputation) kann begründet sein, verlangt aber Statistikkenntnis. Für wissenschaftliche Veröffentlichungen gilt die multiple Imputation als Standard (Schnell 2019, S. 170-171).

Ist „weiß nicht“ ein fehlender Wert?

Nein. „Weiß nicht“ oder „kann ich nicht beurteilen“ ist eine Antwort und wird als solche gewertet (Möhring und Schlütz 2019, S. 190). Sie geht nicht in Mittelwert und Basis der Skalenwerte ein, ihr Anteil wird aber eigens berichtet. Im Datensatz bekommt sie einen eigenen Code, getrennt von übersprungenen und von nicht gestellten Fragen (Schnell 2019, S. 46).

Quellen

AAPOR, American Association for Public Opinion Research (2016). Standard Definitions. Zitiert nach Schnell (2019), S. 151.

Greszki, R., Meyer, M. und Schoen, H. (2015). Exploring the Effects of Removing “Too Fast” Responses and Respondents from Web Surveys. Public Opinion Quarterly, 79(2), 471-503. Zitiert nach Möhring und Schlütz (2019), S. 142, Fn. 60, und nach Leiner (2019), S. 242.

Jacob, R., Heinz, A. und Décieux, J. P. (2019). Umfrage. Einführung in die Methoden der Umfrageforschung (4. Aufl.). Berlin/Boston: De Gruyter Oldenbourg.

Leiner, D. J. (2019). Too Fast, too Straight, too Weird: Non-Reactive Indicators for Meaningless Data in Internet Surveys. Survey Research Methods, 13(3), 229-248. DOI 10.18148/srm/2019.v13i3.7403.

Malhotra, N. K. und Birks, D. F. (2007). Marketing Research: An Applied Approach (3rd European ed.). Harlow: Pearson. Kapitel 17, Data preparation, S. 477-488.

Marx, P. (2026). Grundlagen der Umfrageforschung. Foliensatz, Folien 168 und 169 (Kapitel 5). QUESTIONSTAR. Folie 168 und Folie 169.

Möhring, W. und Schlütz, D. (2019). Die Befragung in der Medien- und Kommunikationswissenschaft. Eine praxisorientierte Einführung (3. Aufl.). Wiesbaden: Springer VS. DOI 10.1007/978-3-658-25865-8.

Moran, G. und Cutler, B. L. (1997). Bogus publicity items and the contingency between awareness and media-induced pretrial prejudice. Law and Human Behavior, 21(3), 339-344. Zitiert nach Leiner (2019), S. 242.

Schnell, R. (2019). Survey-Interviews. Methoden standardisierter Befragungen (2. Aufl.). Wiesbaden: Springer VS. DOI 10.1007/978-3-531-19901-6.

Schumann, S. (2019). Repräsentative Umfrage. Praxisorientierte Einführung in empirische Methoden und statistische Analyseverfahren (7. Aufl.). Berlin/Boston: De Gruyter Oldenbourg.

Zhang, C. und Conrad, F. G. (2014). Speeding in Web Surveys: The tendency to answer very fast and its association with straightlining. Survey Research Methods, 8(2), 127-135. DOI 10.18148/srm/2014.v8i2.5453.

Ich wünsche Ihnen Datensätze, bei denen wenig zu bereinigen ist, und Berichte, in denen jede Zahl ihre Basis nennt.

Übrigens, das hier ist verwandt:

• Auswertung von Online-Umfragen: beginnt vor der Erhebung
• Rücklaufquote: berechnen, bewerten und erhöhen
• Ratingskala: Arten, Beispiele und Gestaltung

Dr. Paul Marx

Autor: Dr. Paul Marx
Dr. Paul Marx ist Gründer und Geschäftsführer von QUESTIONSTAR und war Professor für Marketing an der Universität Siegen.