---
url: "https://questionstar.de/blog/pretest-fragebogen/"
title: "Pretest Fragebogen: so testen Sie vor dem Start"
description: "Pretest Fragebogen: welche Verfahren es gibt, wie viele Testpersonen Sie brauchen, worauf Sie achten und wie Sie Änderungen dokumentieren. Mit Checkliste."
lastmod: "2026-11-11"
type: "blog"
---

# Pretest: So testen Sie Ihren Fragebogen vor dem Start

*Wie teste ich meinen Fragebogen, bevor er ins Feld geht, und mit wie vielen Personen?*

Pretest Fragebogen: welche Verfahren es gibt, wie viele Testpersonen Sie brauchen, worauf Sie achten und wie Sie Änderungen dokumentieren. Mit Checkliste.

Kurz gesagt: Ein Pretest ist die Probe Ihres Fragebogens an wenigen Menschen aus Ihrer Zielgruppe, bevor die eigentliche Befragung beginnt. Er zeigt, ob die Fragen so verstanden werden, wie Sie sie meinen, ob Antwortmöglichkeiten fehlen, wie lange das Ausfüllen dauert und ob Filter und Darstellung auf den getesteten Geräten funktionieren (Möhring und Schlütz 2019, S. 182-184). Für einen ersten Verständnistest reichen oft fünf bis zehn Personen (Jacob et al. 2019, S. 214), für einen Test unter echten Bedingungen sind es je nach Studie zehn bis 50 (Möhring und Schlütz 2019, S. 184).

In diesem Artikel beantworte ich der Reihe nach fünf Fragen:

- [Warum braucht auch ein sorgfältig geschriebener Fragebogen einen Pretest?](#warum)
- [Welche Verfahren gibt es](#verfahren), und [wie führen Sie kognitive Interviews?](#kognitive-interviews)
- [Wie testen Sie einen Online-Fragebogen technisch?](#technik)
- [Wie viele Testpersonen brauchen Sie](#wie-viele), und [worauf achten Sie dabei?](#beobachten)
- [Wie dokumentieren Sie die Ergebnisse und entscheiden über Änderungen?](#dokumentieren)

Am Ende finden Sie einen [kompakten Pretest-Plan als Checkliste](#checkliste).

Auf einer Folie meines Kurses steht dreimal dasselbe Wort: „Pretesten! Pretesten! Pretesten!“ ([Marx 2026, Folie 115](/lehrbuch/grundlagen-der-umfrageforschung/kapitel-3/folie-115.html)). Den eigenen Fragebogen liest man immer so, wie man ihn gemeint hat. Die Testpersonen lesen ihn so, wie er dasteht, und genau dieser Unterschied ist es, den ein Pretest sichtbar macht. Wie Sie den Fragebogen aufbauen, steht im Artikel [Fragebogen gestalten](/blog/fragebogen-gestalten/). Hier geht es um den letzten Schritt davor: die Probe.

## Warum braucht jeder Fragebogen einen Pretest?

Ein Papierschiff sieht auf dem Schreibtisch seetüchtig aus. Ob es schwimmt, wissen Sie erst im Wasser. Mit Fragebögen ist es genauso. Schnell begründet das grundsätzlich: Es gibt keine empirisch bewährte Theorie, aus der sich der perfekte Fragebogen am Schreibtisch ableiten ließe. Deshalb muss jeder Fragebogen und jede Frage vor der Datenerhebung empirisch geprüft werden, und genau diese Prüfung heißt Pretest (Schnell 2019, S. 123).

### Klare Fragen, die unterschiedlich verstanden werden

Betrachten wir ein Beispiel. „Besitzen Sie ein Auto?“ klingt eindeutig. Willis zeigt, dass diese Frage mindestens drei Lesarten hat: Zählt ein Pickup oder ein Geländewagen als Auto? Sind Sie persönlich gemeint oder Ihr ganzer Haushalt? Und besitzen Sie ein Auto, das Sie leasen? (Willis 2005, zitiert nach Schnell 2019, S. 125). Im Gespräch lassen sich solche Unklarheiten durch Nachfragen klären, beim selbstständigen Ausfüllen eines Online-Fragebogens meist nicht.

Belson ließ Befragte nach der Antwort erklären, wie sie eine Frage verstanden hatten. Die Frage nach den Fernsehstunden an einem „weekday“ verstanden nur 3 von 52 genau wie gemeint, zwölf zählten alle sieben Tage mit, und über alle getesteten Fragen hinweg verstanden im Mittel 29 % der Befragten die Fragen sinngemäß (Belson 1981, zitiert nach Schnell 2019, S. 137).

Auch professionell gebaute Fragebögen sind nicht frei davon. In einem Pretest eines fast fertigen Fragebogens fanden Kreiselmaier et al. 279 Probleme bei 1.741 Frage-Antwort-Vorgängen, also bei 16 % (Kreiselmaier et al. 1989, zitiert nach Schnell 2019, S. 127).

### Fragen Sie nicht nur: „War alles klar?“

Die naheliegende Idee ist, ein paar Kolleginnen den Link zu schicken und zu fragen, ob alles verständlich war. Das hilft wenig. Befragte versuchen fast immer, eine Antwort zu geben, weil sie hinter jeder Frage einen Sinn vermuten (Schnell 2019, S. 127). In einem Test mit einem absichtlich fehlerhaften Fragebogen bemerkten die Befragten vor allem fehlende Antwortmöglichkeiten, das schaffte etwa ein Drittel. Einseitige und mehrdeutige Fragen fielen nur 3 bis 5 % auf (Hunt et al. 1982, zitiert nach Schnell 2019, S. 126).

Ein Pretest braucht also Methode: Nachfragen, Beobachtung und ein Protokoll. Was Sie dabei prüfen:

| Was Sie prüfen | Typische Frage im Pretest | Quelle |
|------|------|------|
| Verständnis | Verstehen alle die Frage so, wie Sie sie meinen? | Jacob et al. 2019, S. 212 |
| Antwortmöglichkeiten | Fehlt eine Kategorie, überschneiden sich zwei? | Jacob et al. 2019, S. 212; Möhring und Schlütz 2019, S. 184 |
| Heikle Fragen | Empfindet jemand eine Frage als peinlich oder provokant? | Jacob et al. 2019, S. 212 |
| Reihenfolge | Beeinflusst eine Frage die nächste? | Schnell 2019, S. 123 |
| Filter | Landet jeder auf dem richtigen Weg? | Schnell 2019, S. 123; Möhring und Schlütz 2019, S. 182 |
| Dauer | Wie lange brauchen Menschen aus der Zielgruppe wirklich? | Jacob et al. 2019, S. 212 |
| Technik | Funktioniert alles auf Smartphone, Tablet und in anderen Browsern? | Möhring und Schlütz 2019, S. 184 |
| Auswertung | Passen die Daten zu den Tabellen, die Sie am Ende brauchen? | Malhotra und Birks 2007, S. 392; Marx 2026, Folie 115 |

Auch bewährte Fragen gehören in den Test, warum, steht in den [häufigen Fragen](#faq).

## Welche Pretest-Verfahren gibt es?

Streng genommen gibt es nicht „den“ Pretest. Jacob et al. sprechen von einer Reihe von Tests, die nacheinander laufen, im Fachjargon Multi-Method-Pretesting (Jacob et al. 2019, S. 212). Schnell rät zu mindestens zwei Durchgängen: einem Entwicklungspretest für den ersten Entwurf und einem Abschlusspretest für die letzten Korrekturen. Nach dem Abschlusspretest sollten keine neuen Fragen mehr hinzukommen (Schnell 2019, S. 127-128).

Die Verfahren lassen sich danach ordnen, wo sie stattfinden: am Schreibtisch ohne Befragte, im Labor mit einzelnen Testpersonen oder im Feld unter echten Bedingungen (Möhring und Schlütz 2019, S. 183). Online kommt ein vierter Schritt dazu, der technische Test. Kein Verfahren findet alles. Am besten ist eine Mischung, und die kritische Durchsicht am Schreibtisch sowie ein Test unter echten Bedingungen sollten immer dabei sein (Möhring und Schlütz 2019, S. 183).

### Am Schreibtisch: Expertenreview und Fragebogenkonferenz

Eigene Fehler erkennt man schwer, deshalb holen Sie sich schon vor dem ersten Testlauf Hilfe (Möhring und Schlütz 2019, S. 183). In der Fragebogenkonferenz geht ein kleines Team den Entwurf Frage für Frage durch. Beim Expertenreview legen Sie ihn Personen vor, die selbst Befragungen gebaut haben, und bitten um Kommentare (Jacob et al. 2019, S. 212). Schnell empfiehlt zwei bis drei Stunden Diskussion mit Kollegen, die nicht im Projekt arbeiten (Schnell 2019, S. 130).

Damit die Durchsicht nicht beim Bauchgefühl stehen bleibt, helfen Prüflisten. Das Question Appraisal System von Willis fragt für jede Frage unter anderem: Gibt es unklare Begriffe? Fehlt ein Bezugszeitraum? Steckt eine unzutreffende Annahme über die Befragten darin? Verlangt die Frage eine Rechnung oder eine Erinnerung, die kaum jemand leisten kann? Passen die Antwortvorgaben zur Frage, schließen sie sich gegenseitig aus, und gibt es für jede mögliche Antwort eine passende Vorgabe? (Willis 2005, zitiert nach Schnell 2019, S. 132-133). Das Fragebogenbewertungssystem prüft zusätzlich, ob Skalen ausbalanciert und gleichabständig sind (Faulbaum et al. 2009, zitiert nach Möhring und Schlütz 2019, S. 184).

Eine solche Prüfliste kann auch ein KI-Assistent abarbeiten. Ist QUESTIONSTAR über die [MCP-Schnittstelle](/hilfe/integrationen/mcp/) mit ChatGPT oder Claude verbunden, bekommt der Assistent die Prüfliste von QUESTIONSTAR und kann Ihren Entwurf damit durchgehen: doppelte und suggestive Fragen, versteckte Annahmen, unausgewogene Skalen, sich überschneidende Kategorien. Er listet Ihnen die Stellen auf, entscheiden müssen Sie selbst.

Eine Grenze hat jede Prüfliste: Probleme, die erst durch die Abfolge der Fragen entstehen, etwa Kontexteffekte oder falsche Filter, findet sie kaum (Schnell 2019, S. 131). Dafür brauchen Sie Menschen, die den Fragebogen tatsächlich ausfüllen. Wie die Reihenfolge Antworten verschiebt, beschreibt der Artikel [Reihenfolgeeffekte in Umfragen](/blog/reihenfolgeeffekte-in-umfragen/).

### Im Labor: kognitive Interviews

Labor klingt aufwendiger, als es ist. Gemeint ist nur ein ruhiger Raum für ein ungestörtes Gespräch (Jacob et al. 2019, S. 212, Fn. 21), für einen Online-Fragebogen auch ein Videocall mit geteiltem Bildschirm. Kognitive Interviews decken auf, was zwischen Frage und Antwort im Kopf passiert (Schnell 2019, S. 131).

### Im Feld: Standard-Pretest und Befragten-Debriefing

Beim Standard-Pretest füllen Testpersonen den Fragebogen unter möglichst realistischen Bedingungen aus, und Sie messen die Dauer. Weil Sie nicht nachfragen, liefert er allein nur wenige Rückmeldungen (Jacob et al. 2019, S. 215). Ergänzen Sie ihn um ein Befragten-Debriefing: Nach dem Durchgang sagt die Testperson zu jeder Frage, was ihr aufgefallen ist. So bekommen Sie in einem Termin eine realistische Zeit und Kommentare (Jacob et al. 2019, S. 215). Das Debriefing geht auch schriftlich: Die Testperson füllt nach dem Fragebogen einen kurzen zweiten Fragebogen aus. Eine fertige [Pretest-Vorlage](/vorlagen/) dafür finden Sie bei QUESTIONSTAR.

Malhotra und Birks empfehlen, den ersten Test persönlich zu machen, weil Sie Zögern nur sehen, wenn Sie dabei sind, und danach im echten Modus zu testen, für eine Online-Umfrage also online (Malhotra und Birks 2007, S. 391).

## Kognitive Interviews: so fragen Sie nach

Im kognitiven Interview tun Sie das Gegenteil dessen, was in einer echten Befragung erlaubt ist: Sie fragen nach und ermuntern zu Kommentaren. Jacob et al. beschreiben dafür mehrere Techniken, die Sie kombinieren können (Jacob et al. 2019, S. 213-214).

**Lautes Denken (Think aloud).** Die Testperson sagt beim Antworten oder direkt danach alles, was ihr durch den Kopf geht. Das ist anspruchsvoll für beide Seiten, braucht Zeit und lohnt sich nur bei ausgewählten, schwierigen Fragen. Viele liefern dabei eher Begründungen als echte Gedankengänge (Möhring und Schlütz 2019, S. 185). Schnell empfiehlt deshalb eine kurze Einführung mit Übungsfragen, etwa „Wie viele Fenster hatte Ihr Elternhaus?“, bevor die eigentlichen Fragen kommen (Schnell 2019, S. 423-424).

**Nachfragen (Probing).** Nach der Antwort fragen Sie gezielt nach. Das ist leichter als lautes Denken, und je konkreter die Nachfrage, desto ergiebiger ist sie (Möhring und Schlütz 2019, S. 185). Bewährte Formulierungen bei Schnell sind „Was hat Sie zu Ihrer Antwort gebracht?“, „Woran haben Sie bei Ihrer Antwort gedacht?“ oder bei einzelnen Begriffen „Was verstehen Sie hier unter Haushalt?“. Ein Beispiel von ihm: Bei einer Frage nach medizinischen Behandlungen in den letzten sechs Monaten klärt eine Nachfrage, ob Befragte auch Selbstmedikation mitzählen (Schnell 2019, S. 136). Schnell hält solche Nachfragen für so wenig aufwendig, dass sie zu jedem Pretest gehören sollten (Schnell 2019, S. 137).

**Umschreiben lassen (Paraphrasing).** Die Testperson wiederholt die Frage in eigenen Worten. So merken Sie schnell, ob sie die Frage so verstanden hat, wie Sie sie meinen.

**Sicherheit einschätzen (Confidence Rating).** Die Testperson gibt nach der Antwort an, wie sicher sie sich ist. Das passt vor allem zu Wissens- und Verhaltensfragen. Den Grund einer Unsicherheit erfahren Sie erst durch eine Nachfrage (Möhring und Schlütz 2019, S. 185).

Betrachten wir, wie das in der Praxis aussieht. Eine Hochschule testet für ihre Lehrevaluation diese Aussage:

> „Die Veranstaltung war gut organisiert.“
> sehr unzufrieden / eher unzufrieden / weder zufrieden noch unzufrieden / eher zufrieden / sehr zufrieden

Im Interview fällt zweierlei auf. Die Antwortstufen passen nicht zur Aussage, denn zu „war gut organisiert“ passt Zustimmung, nicht Zufriedenheit. Und beim Umschreiben sagt eine Studentin: „Also ob der Raum gepasst hat und die Folien rechtzeitig online waren.“ Ein anderer denkt an den roten Faden der Vorlesung. Dieselbe Frage, zwei verschiedene Dinge. Die Überarbeitung legt die bewerteten Aspekte fest und bringt Aussagen und Skala zusammen:

> „Die Unterlagen waren rechtzeitig verfügbar.“
> „Die Sitzungen bauten erkennbar aufeinander auf.“
> stimme überhaupt nicht zu / stimme eher nicht zu / teils, teils / stimme eher zu / stimme voll und ganz zu

Das Beispiel ist erfunden. Wie Sie Fragen präziser formulieren, steht im Artikel [Fragen formulieren](/blog/fragen-formulieren-tipps-fur-die-ausformulierung-von-fragen/).

Drei Regeln für das Interview: Legen Sie vorher fest, welche Fragen Sie vertiefen und mit welchen Nachfragen. Sprechen Sie die Testpersonen als Expertinnen und Experten an, die Ihnen helfen, das erhöht die Motivation (Jacob et al. 2019, S. 214). Und formulieren Sie die Nachfragen neutral, denn auch eine Nachfrage kann beeinflussen (Möhring und Schlütz 2019, S. 185).

Wie solche Interviews in echten Studien aussehen, zeigt die [GESIS Pretest-Datenbank](https://pretest.gesis.org/) mit den Ergebnissen zahlreicher kognitiver Interviews, für Jacob et al. eine „wahre Fundgrube“ (Jacob et al. 2019, S. 218).

## Online-Fragebogen technisch testen

Bei einer Online-Umfrage kommt eine Fehlerquelle hinzu, die es auf Papier nicht gibt: die Technik. Was auf Ihrem Rechner tadellos aussieht, kann auf dem Smartphone scheitern, deshalb gehört die Technik unbedingt in den Pretest (Möhring und Schlütz 2019, S. 147, mehr unter [Layout](/blog/fragebogen-gestalten/#layout)). Zu prüfen sind Programmierung, Filterführung, Browser, die Darstellung auf verschiedenen Endgeräten und die Bedienung der einzelnen Frageformen (Möhring und Schlütz 2019, S. 184).

Diesen Teil erledigen Sie weitgehend allein, bevor die erste Testperson den Link bekommt, in vier Schritten:

**1. Jeden Pfad einmal durchspielen.** Zeichnen Sie die Filter als Ablauf und spielen Sie jeden Weg einmal durch, auch die ungewöhnlichen. Wer bei „Haben Sie in den letzten zwölf Monaten online bestellt?“ mit Nein antwortet, darf keine Frage zur Lieferzeit sehen. Wer mit Ja antwortet, muss sie sehen. Wie Sie Filter planen, steht im Abschnitt [Filterfragen](/blog/fragebogen-gestalten/#filterfragen) des Artikels Fragebogen gestalten.

**2. Auf echten Geräten ansehen.** Öffnen Sie den Fragebogen auf mindestens einem Smartphone, einem Tablet oder Laptop und in einem zweiten Browser. Achten Sie auf Matrixfragen, die auf dem Smartphone zu breit werden, auf lange Antwortlisten und auf Schieberegler, die sich am Smartphone schwerer bedienen lassen (Möhring und Schlütz 2019, S. 181). Responsives Design, also eine Darstellung, die sich dem Gerät anpasst, müssen Sie im Pretest ausdrücklich prüfen (Möhring und Schlütz 2019, S. 179). In QUESTIONSTAR öffnen Sie die [Vorschau](/hilfe/umfragen-erstellen/vorschau/) dafür per QR-Code am Smartphone, aufgezeichnet wird dabei nichts (mehr [unten](#questionstar)).

**3. Pflichtfragen und Prüfungen testen.** Versuchen Sie, eine Seite ohne Antwort zu verlassen, geben Sie in ein Zahlenfeld Buchstaben ein, wählen Sie bei einer Mehrfachauswahl alles an. Jede Fehlermeldung sollte verständlich sagen, was zu tun ist.

**4. Testdaten gegen die Auswertung legen.** Füllen Sie den Fragebogen ein paarmal mit ausgedachten Antworten aus, exportieren Sie die Daten und legen Sie sie neben Ihre leeren Auswertungstabellen. Passt eine Antwort in keine Tabelle, ist die Frage vielleicht überflüssig, bleibt eine Tabelle leer, fehlt eine Frage (Malhotra und Birks 2007, S. 392).

Der technische Test ersetzt aber nicht den Test mit Menschen: Sie wissen, was Sie meinen, und bleiben deshalb nie dort hängen, wo andere hängen bleiben.

## Wie viele Testpersonen braucht ein Pretest?

Eine allgemein verbindliche Zahl gibt es nicht, auch für die Durchführung von Pretests fehlen verbindliche Standards (Schnell 2019, S. 126). Es hängt davon ab, was Sie prüfen: Für das Verständnis brauchen Sie wenige, dafür intensive Gespräche, für die Dauer oder erste Verteilungen mehr Personen.

| Was Sie testen | Zahl der Testpersonen | Quelle |
|------|------|------|
| Kognitive Interviews zu einzelnen Fragen | fünf bis zehn | Jacob et al. 2019, S. 214; Möhring und Schlütz 2019, S. 185 |
| Gruppentest eines schriftlichen oder Online-Fragebogens mit Anmerkungen und Diskussion | zehn bis 15 | Jacob et al. 2019, S. 218 |
| Erster Pretest (bei Malhotra und Birks „pilot test“) | 15 bis 30, je nachdem, wie unterschiedlich die Zielgruppe ist | Malhotra und Birks 2007, S. 392 |
| Standard-Pretest unter echten Bedingungen | zehn bis 50, je nach Größe der Hauptstichprobe | Möhring und Schlütz 2019, S. 184 |
| Feldtest für Verständlichkeit und Dauer | 30 bis 50 | Jacob et al. 2019, S. 216 |
| Feldtest mit ersten Häufigkeitsverteilungen | mindestens 100, bei Bevölkerungsumfragen 150 bis 200 | Jacob et al. 2019, S. 216 |
| Pretest eines neuen Fragebogens insgesamt | mindestens etwa 20 bis 30 | Schumann 2019, S. 76, Fn. 129 |

Nach meiner Erfahrung sollten es auch bei einer kleinen Studie mindestens drei Personen sein, besser fünf bis zehn. Drei Personen sind meine Untergrenze für die Gespräche über das Verständnis, nicht für den Feldtest. Für eine Abschlussarbeit oder eine Kundenbefragung mittlerer Größe ist eine Kombination realistisch: fünf bis zehn kognitive Interviews und danach ein Durchgang mit zehn bis 30 Personen im echten Online-Modus.

### Wer testet, ist wichtiger als wie viele

Die Testpersonen müssen aus derselben Grundgesamtheit kommen wie Ihre späteren Befragten (Jacob et al. 2019, S. 214). Außer beim allerersten Entwicklungspretest sollten Pretests nach Schnell auf einer echten Zufallsauswahl aus der Zielpopulation beruhen (Schnell 2019, S. 142). Bei einer rein qualitativen Prüfung im Feldtest halten Jacob et al. auch eine Quotenauswahl für möglich (Jacob et al. 2019, S. 216). Für eine Bevölkerungsumfrage genügt es auf gar keinen Fall, Studierende zu befragen (Jacob et al. 2019, S. 215). Auch Schumann rät von homogenen Gruppen wie Studierenden oder Betriebsangehörigen ab, es sei denn, genau sie sind Ihre Zielgruppe (Schumann 2019, S. 76).

Kolleginnen, Freunde und Familie sind für einen allerersten Durchgang trotzdem nützlich, bei dem alle wissen, dass es ein Test ist. Als richtiger Pretest gilt das kaum, danach sollte ein Test folgen, bei dem die Personen den Fragebogen wie echte Befragte ausfüllen (Schnell 2019, S. 130).

Und schließlich: Testen Sie mehr als einmal. Nach jeder größeren Überarbeitung gehört ein neuer Test mit anderen Personen dazu, denn beim Überarbeiten entstehen leicht neue Fehler (Malhotra und Birks 2007, S. 392; Schumann 2019, S. 76).

## Worauf Sie achten: Verständnis, Dauer, Abbrüche, Smartphone

Ein Pretest liefert nur dann etwas, wenn Sie wissen, wonach Sie suchen. Die Anweisung „Notieren Sie alle Probleme“ an Beobachtende gilt als ineffizient (DeMaio 1983, zitiert nach Schnell 2019, S. 138). Besser ist eine kurze Liste von Signalen, die Sie bei jeder Frage festhalten.

**Verständnis.** Rückfragen, längeres Zögern, eine Frage, die wiederholt werden muss, oder eine Antwort, die nicht zur Frage passt, sind die typischen Hinweise (Jacob et al. 2019, S. 217). Beim Umschreiben merken Sie, ob jemand etwas anderes versteht als Sie.

**Dauer.** Messen Sie die Zeit vom Start bis zur letzten Seite, bei jeder Testperson, die den Fragebogen ohne Unterbrechung ausfüllt. Wenn Sie zwischendurch nachfragen, ist die Zeitmessung nicht mehr realistisch (Jacob et al. 2019, S. 215). Ein Pretest mit Nachfragen darf länger dauern, höchstens aber doppelt so lang wie die geplante Befragung (Schnell 2019, S. 142). Wie lang ein Fragebogen sein darf, steht unter [Länge](/blog/fragebogen-gestalten/#laenge).

**Abbrüche und ausgelassene Fragen.** Bricht jemand ab oder überspringt eine Frage, fragen Sie nach dem Grund. Bei computergestützten Befragungen lassen sich Abbruchquoten und ausgelassene Fragen direkt ablesen, Ärger und Langeweile sind ebenfalls Signale (Möhring und Schlütz 2019, S. 184).

**Antwortverteilungen.** Bei einer relativ hohen Fallzahl lohnt ein Blick auf die Verteilungen: Kategorien, die niemand wählt, stark einseitige Verteilungen und viele Ausweichantworten wie „weiß nicht“ können auf unklare, einseitige oder heikle Fragen hinweisen, aber auch die tatsächlichen Verhältnisse in der Zielgruppe widerspiegeln (Möhring und Schlütz 2019, S. 184). Übrigens, „kann ich nicht beurteilen“ gehört nur zu Fragen, bei denen jemand tatsächlich kein Wissen oder keine Erfahrung haben kann. Der Pretest zeigt, ob Sie diese Antwort an der richtigen Stelle anbieten.

**Gerät.** Fragen Sie jede Testperson, auf welchem Gerät sie ausgefüllt hat, und bitten Sie einige ausdrücklich, das Smartphone zu nehmen.

## Ergebnisse dokumentieren und Änderungen entscheiden

Viele Pretests enden mit einem einzigen Satz im Bericht: Ein Pretest wurde durchgeführt, Probleme traten nicht auf. Schnell spottet, solche Pretests dienten nur der Beruhigung der Auftraggeber (Schnell 2019, S. 127). Halten Sie die Ergebnisse deshalb in einem kurzen Protokoll fest. Jacob et al. nennen einen solchen Pretest-Bericht sogar einen zwingenden Bestandteil der wissenschaftlichen Veröffentlichung, einschließlich Größe und Zusammensetzung der Pretest-Stichprobe (Jacob et al. 2019, S. 218).

Eine einfache Tabelle genügt. Eine Zeile pro Problem, nicht pro Testperson:

| Frage | Beobachtetes Problem | Wie oft (von n) | Änderung | Begründung |
|------|------|------|------|------|
| F4 „Veranstaltung gut organisiert“ | Zwei Lesarten (Unterlagen oder Aufbau), Skala passt nicht zur Aussage | 4 von 8 | In zwei Aussagen geteilt, Zustimmungsskala | Zu allgemeine Aussage und unpassende Skala, im Paraphrasing erkannt |
| F9 Nutzungshäufigkeit | Kategorie „nie“ fehlt | 2 von 8 | „nie“ ergänzt | fehlende Kategorie |
| F12 Matrix | Auf dem Smartphone nur seitlich lesbar | 3 von 3 Smartphones | In Einzelfragen aufgeteilt | Darstellung |
| Gesamt | Dauer beim Ausfüllen ohne Nachfragen 9 bis 17 Minuten, Median 12 | 8 Zeitmessungen | Einleitung: „etwa 12 Minuten“ | Zeitmessung ohne Unterbrechung |

Die Zahlen sind erfunden. Die Dauer stammt aus Durchgängen ohne Nachfragen, die übrigen Zeilen aus einem Beurteilungsbogen je Testinterview, der Rückfragen, Wiederholungen, Zögern, Verweigerungen, unangenehme oder zeitintensive Fragen und schlechte Filterführung festhält (Jacob et al. 2019, S. 217).

### Wann Sie etwas ändern

Nicht jede Bemerkung verlangt eine Änderung. Häufen sich bei einer Frage die Probleme, ist das ein Hinweis auf nötige Überarbeitung, und die Art des Problems zeigt, welche (Schnell 2019, S. 138). Ein einzelnes echtes Missverständnis bei einer Frage, die Sie zentral auswerten, ist trotzdem ein Anlass zum Nachdenken. Geschmacksfragen wie „Ich hätte das anders formuliert“ notieren Sie, ändern aber nicht zwingend.

Ändern Sie nach dem Test viel, testen Sie die neue Fassung noch einmal (Schumann 2019, S. 76). Und nehmen Sie nach dem letzten Test keine neuen Fragen mehr auf (Schnell 2019, S. 128). Eine Frage, die erst nach dem Test dazukommt, ist eine ungetestete Frage.

## Pretest in der Abschlussarbeit und im Unternehmen

**In der Abschlussarbeit** ist ein Pretest unerlässlich, mindestens mit Mitstudierenden, am besten mit Personen aus der Zielgruppe (Möhring und Schlütz 2019, S. 183). Aufwendige Laborverfahren mit geschulten Interviewenden werden eher bei der Entwicklung von Skalen und bei sensiblen Themen eingesetzt, weniger bei studentischen Arbeiten (Möhring und Schlütz 2019, S. 185). Ein paar gut geführte Gespräche mit Nachfragen und ein Online-Durchgang genügen hier meist. Beschreiben Sie im Methodenteil, mit wem Sie getestet haben, mit wie vielen Personen und was Sie danach geändert haben (Jacob et al. 2019, S. 218). Wie der Pretest in den Ablauf der ganzen Arbeit passt, steht im Artikel [Wie schreibe ich meine Abschlussarbeit](/blog/wie-schreibe-ich-meine-abschlussarbeit/#pretest).

**Im Unternehmen** fehlt meist nicht das Wissen, sondern die Zeit: Der Versandtermin steht, der Fragebogen kommt spät aus der Abstimmung, und der Pretest wird gestrichen. Dabei ist ein kleiner Pretest schnell gemacht. Nach meiner Erfahrung reichen oft fünf Kundinnen oder Beschäftigte aus verschiedenen Bereichen, je eine halbe Stunde im Videocall. Das ist wenig gegen eine Befragung, deren Kernfrage missverstanden wurde. Lassen Sie die Befragung von einer Agentur durchführen, gilt Schnells Rat, die Pretests zur Verbesserung des Fragebogens selbst zu machen oder ihren Ablauf genau festzulegen. Eine globale Einschätzung, ob der Fragebogen Probleme macht, hält er als Pretest für gänzlich ungeeignet (Schnell 2019, S. 414). Testen Sie auch die Einladung: Schnell hält mehrfache kognitive Pretests der Anschreiben mit Personen aus der Zielgruppe für unverzichtbar (Schnell 2019, S. 433). Wie Einladung und Erinnerungen den Rücklauf beeinflussen, beschreibt der Artikel [Rücklaufquote](/blog/ruecklaufquote/).

## So testen Sie in QUESTIONSTAR

Werbung in eigener Sache, aber mit konkreten Funktionen. Einen Pretest kann Ihnen keine Software abnehmen, die Gespräche führen Sie selbst. QUESTIONSTAR hilft Ihnen beim technischen Teil, bei der Durchsicht durch andere und beim Feldtest.

**Vorschau.** Die [Vorschau](/hilfe/umfragen-erstellen/vorschau/) zeichnet keine Antworten auf. Die Ansicht für Desktop, Tablet und Smartphone beruht auf typischen Bildschirmbreiten. Für das echte Gerät scannen Sie den QR-Code in der Vorschau mit dem Smartphone: Die Vorschau öffnet sich dort, und auch dabei wird nichts gespeichert. Sie können ausgeblendete Fragen zeigen sowie Sprunglogik und Validierung ignorieren lassen, um alle Fragen auf einmal durchzusehen. Um die Filter zu prüfen, schalten Sie alle drei wieder aus und spielen jeden Weg einmal durch.

**Vorschau teilen und Fragebogen exportieren.** Den Link zur Vollbild-Vorschau können Sie teilen: Gutachterinnen und Testpersonen öffnen den Fragebogen ohne Login, gespeichert wird nichts. Das passt zum Expertenreview und zum kognitiven Interview im Videocall, Antworten und Beobachtungen notieren Sie im Protokoll. Für Kommentare auf Papier exportieren Sie den Fragebogen als Word- oder PDF-Datei, das ist zugleich der Anhang für Ihren Methodenteil. Für die Fragebogenkonferenz können Sie die Umfrage außerdem mit Ihrem Team [gemeinsam bearbeiten](/hilfe/erweiterte-funktionen/gemeinsam-bearbeiten/).

**Feldtest mit dem Teilen-Link.** Für den Test unter echten Bedingungen veröffentlichen Sie die Umfrage und geben den Testpersonen den normalen Link. Im [Rücklauf-Widget](/hilfe/dashboard/ruecklauf-widget/) sehen Sie, wie viele begonnen und wie viele abgeschlossen haben, die Differenz sind Abbrüche oder noch offene Fragebögen. Stellen Sie auch die [Teilnahmebedingungen](/hilfe/einstellungen-der-umfrage/teilnahmebedingungen/), etwa „Mehrfachteilnahme verhindern“, schon im Test so ein wie später im Feld, damit Sie sie mittesten.

**Testantworten löschen.** Antworten aus dem Feldtest können Sie vor dem echten Start löschen. So mischen sich Testdaten nicht mit den Daten Ihrer Befragung.

**Vorlage.** Unter den [Vorlagen](/vorlagen/) finden Sie eine Pretest-Vorlage: einen kurzen Fragebogen, den Ihre Testpersonen nach dem eigentlichen Fragebogen ausfüllen, also ein schriftliches Befragten-Debriefing. Was QUESTIONSTAR nicht macht: Es führt keine Interviews, misst keine Zeit pro Frage und entscheidet nicht, welche Ihrer Fragen missverständlich sind.

**Fragebogen in der Vorschau durchspielen, auf jedem Gerät.**

Kostenlos starten, ohne Kreditkarte.

[Kostenlos starten](/order/?code=free)

## Kompakter Pretest-Plan: Checkliste

Jacob et al. nennen bei wenig Zeit oder Geld als Minimum einen Experten-Pretest und einen Standard-Pretest mit Beurteilungsbogen (Jacob et al. 2019, S. 217). Der folgende Plan ergänzt dieses Minimum für Online-Umfragen um die technische Prüfung und kognitive Interviews:

1. Auswertungstabellen anlegen, bevor der Test beginnt.
2. Den Entwurf von ein bis zwei Personen mit Befragungserfahrung prüfen lassen, mit Prüfliste.
3. Alle Filterpfade selbst in der Vorschau durchspielen, auf einem echten Smartphone, auf Tablet oder Laptop und in einem zweiten Browser.
4. Mit fünf Personen aus der Zielgruppe ein kognitives Interview führen: ausfüllen lassen, bei schwierigen Fragen nachfragen und umschreiben lassen.
5. Problemprotokoll führen, Fragen überarbeiten.
6. Die überarbeitete Fassung von zehn oder mehr Personen aus der Zielgruppe online ausfüllen lassen, einige davon am Smartphone, Dauer und Abbrüche festhalten. Danach die [Pretest-Vorlage](/vorlagen/) als schriftliches Debriefing ausfüllen lassen.
7. Testdaten exportieren und gegen die Auswertungstabellen legen.
8. Testantworten löschen, Einleitung mit der gemessenen Dauer ergänzen, keine neuen Fragen mehr aufnehmen.
9. Im Bericht oder Methodenteil festhalten: wer getestet hat, wie viele, mit welchem Verfahren, was geändert wurde.

## Häufige Fragen zum Pretest

### Was ist ein Pretest beim Fragebogen?

Ein Pretest ist die Überprüfung der technischen, handwerklichen und inhaltlichen Qualität eines Fragebogens vor der eigentlichen Erhebung (Möhring und Schlütz 2019, S. 182). Wenige Personen aus der Zielgruppe füllen den Fragebogen aus, und Sie prüfen Verständnis, Antwortmöglichkeiten, Dauer, Filter und Darstellung.

### Wie viele Personen braucht ein Pretest?

Für kognitive Interviews reichen oft fünf bis zehn Personen (Jacob et al. 2019, S. 214), für einen Standard-Pretest nennen Möhring und Schlütz je nach Größe der Hauptstichprobe zehn bis 50 (Möhring und Schlütz 2019, S. 184). Wichtiger als die Zahl ist, dass die Testpersonen zur Zielgruppe gehören.

### Was ist der Unterschied zwischen Pretest und Pilotstudie?

Der Pretest prüft den Fragebogen. Die Pilotstudie probt den gesamten Ablauf der Hauptuntersuchung in kleinem Maßstab, einschließlich Stichprobe, Feldarbeit und Auswertung (Schnell 2019, S. 143; Möhring und Schlütz 2019, S. 181). Sie lohnt sich vor allem bei großen Studien mit neuen Verfahren.

### Was ist ein kognitiver Pretest?

Ein kognitiver Pretest, auch kognitives Interview, untersucht, wie Befragte eine Frage verstehen und zu ihrer Antwort kommen. Typische Techniken sind lautes Denken, gezieltes Nachfragen, Umschreiben der Frage und die Einschätzung der eigenen Sicherheit (Jacob et al. 2019, S. 213).

### Darf ich die Antworten aus dem Pretest in die Auswertung übernehmen?

In der Regel nicht. Der Fragebogen hat sich nach dem Pretest meist geändert. Außerdem werden Testpersonen selten so ausgewählt wie die eigentliche Stichprobe (Schumann 2019, S. 76). Löschen Sie Testantworten deshalb vor dem Start. Eine Ausnahme ist vertretbar, wenn sich der Fragebogen nach dem Test nicht geändert hat und die Testpersonen genauso gewonnen wurden wie die Stichprobe. Dann schreiben Sie das offen in den Methodenteil.

### Brauche ich einen Pretest, wenn ich bewährte Fragen verwende?

Ja. Schumann hält einen Pretest bei Fragen, die bereits in repräsentativen Umfragen eingesetzt wurden, zwar für entbehrlich (Schumann 2019, S. 76), doch ein neuer Zusammenhang oder eine andere Zielgruppe kann auch bewährte Fragen unbrauchbar machen (Schnell 2019, S. 123-124). Ich halte es mit Schnell: Der Test darf dann kürzer ausfallen.

### Was bedeutet Pretest in einem Experiment?

Im Experiment heißt Pretest etwas anderes: die Messung vor der Behandlung, zum Beispiel vor einer Werbekampagne, mit der die Messung danach verglichen wird (Malhotra und Birks 2007, S. 313-314). Mit dem Test des Fragebogens hat das nichts zu tun.

## Quellen

Belson, W. (1981). The Design and Understanding of Survey Questions. Aldershot: Gower. Zitiert nach Schnell (2019), S. 137.

DeMaio, T. (1983). Approaches to Developing Questionnaires. Technischer Bericht 10. Washington, DC: Office of Management and Budget. Zitiert nach Schnell (2019), S. 138.

Faulbaum, F., Prüfer, P. und Rexroth, M. (2009). Was ist eine gute Frage? Die systematische Evaluation der Fragenqualität. Wiesbaden: VS. Zitiert nach Möhring und Schlütz (2019), S. 183-184.

Hunt, S. D., Sparkman, R. D. und Wilcox, J. B. (1982). The Pretest in Survey Research: Issues and Preliminary Findings. Journal of Marketing Research, 19(2), 269-273. Zitiert nach Schnell (2019), S. 126.

Jacob, R., Heinz, A. und Décieux, J. P. (2019). Umfrage. Einführung in die Methoden der Umfrageforschung (4. Aufl.). Berlin/Boston: De Gruyter Oldenbourg.

Kreiselmaier, J., Prüfer, P. und Rexroth, M. (1989). Der Interviewer im Pretest. Evaluation der Interviewerleistung und Entwurf eines neuen Pretestkonzepts. ZUMA-Arbeitsbericht Nr. 89/14. Mannheim: ZUMA. Zitiert nach Schnell (2019), S. 127.

Malhotra, N. K. und Birks, D. F. (2007). Marketing Research. An Applied Approach (3rd European edition). Harlow: Pearson Education.

Marx, P. (2026). Grundlagen der Umfrageforschung. Foliensatz, Folie 115 (Kapitel 3). QUESTIONSTAR. [Lehrbuch](/lehrbuch/grundlagen-der-umfrageforschung/kapitel-3/folie-115.html).

Möhring, W. und Schlütz, D. (2019). Die Befragung in der Medien- und Kommunikationswissenschaft. Eine praxisorientierte Einführung (3. Aufl.). Wiesbaden: Springer VS. DOI 10.1007/978-3-658-25865-8.

Schnell, R. (2019). Survey-Interviews. Methoden standardisierter Befragungen (2. Aufl.). Wiesbaden: Springer VS. DOI 10.1007/978-3-531-19901-6.

Schumann, S. (2019). Repräsentative Umfrage. Praxisorientierte Einführung in empirische Methoden und statistische Analyseverfahren (7. Aufl.). Berlin/Boston: De Gruyter Oldenbourg.

Willis, G. B. (2005). Cognitive Interviewing: A Tool for Improving Questionnaire Design. Thousand Oaks: Sage. Zitiert nach Schnell (2019), S. 125 und 132-133.

**Bereit für Ihre nächste Befragung?**

Fragebogen bauen, in der Vorschau auf jedem Gerät durchspielen und Testantworten vor dem Start löschen. Kostenlos starten, ohne Kreditkarte.

[Kostenlos starten](/order/?code=free)

Ich wünsche Ihnen Testpersonen, die ehrlich sagen, wo sie gestolpert sind, und den Mut, eine Lieblingsfrage zu streichen, wenn sie niemand versteht.

**Übrigens, das hier ist verwandt:**

- [Fragebogen gestalten: Aufbau, Fragetypen und Checkliste](/blog/fragebogen-gestalten/)
- [Fragen formulieren: wie aus einer Idee eine belastbare Frage wird](/blog/fragen-formulieren-tipps-fur-die-ausformulierung-von-fragen/)
- [Wie schreibe ich meine Abschlussarbeit](/blog/wie-schreibe-ich-meine-abschlussarbeit/)

*Dr. Paul Marx*

Autor: Dr. Paul Marx
Dr. Paul Marx ist Gründer und Geschäftsführer von QUESTIONSTAR und war Professor für Marketing an der Universität Siegen.

## Verwandte Artikel

- [fragebogen-gestalten](/blog/fragebogen-gestalten)
- [fragen-formulieren-tipps-fur-die-ausformulierung-von-fragen](/blog/fragen-formulieren-tipps-fur-die-ausformulierung-von-fragen)
- [wie-schreibe-ich-meine-abschlussarbeit](/blog/wie-schreibe-ich-meine-abschlussarbeit)

*Autor: Dr. Paul Marx — siehe [Über uns](/ueber-uns).*