A/B-Test in der Umfrage: wirkt die Änderung wirklich?

A/B-Test in der Umfrage: wie Sie zwei Fassungen per Los vergleichen, die Gruppengröße bestimmen und den Unterschied mit Konfidenzintervall und p-Wert lesen.

Legen Sie zwei Gruppen je eine Fassung vor und lassen Sie das Los entscheiden, wer welche bekommt. Dann unterscheiden sich die Gruppen im Durchschnitt nur in dem einen Punkt, den Sie geändert haben. Antworten sie verschieden, und zwar deutlicher, als es der Zufall allein erwarten lässt, spricht das dafür, dass die Änderung den Unterschied bewirkt. Ein solcher Vergleich heißt Experiment, mit zwei Fassungen auch A/B-Test. Die zufällige Zuteilung ist sein entscheidendes Merkmal (Schnell 2019, S. 54).

Der Artikel geht in dieser Reihenfolge vor:

• Warum reicht ein Vergleich ohne Zufall nicht?
• Was lässt sich in einer Umfrage testen?
• Wie planen Sie den Test? Eine Änderung, feste Regeln vor dem Start, Gruppengröße.
• Wie lesen Sie das Ergebnis? In fünf Schritten von den Antworten zum Ergebnis, mit einem Beispiel zum Nachrechnen.
• Welche Fehler machen das Ergebnis wertlos?
• Wie richten Sie den Test in QUESTIONSTAR ein?
• Zum Abhaken und Nachschlagen: Checkliste und häufige Fragen

Die Lage kennen viele, die Befragungen machen: Das Team streitet über zwei Formulierungen einer Frage, das Marketing über zwei Beschreibungen eines neuen Angebots, und in der Abschlussarbeit steht die Hypothese, dass die Reihenfolge der Antworten das Ergebnis verschiebt. Meinungen dazu gibt es genug. Ein A/B-Test ersetzt sie durch einen Vergleich, den jeder nachprüfen kann. Was ein p-Wert ist und was ein Konfidenzintervall, erklären eigene Beiträge. Hier geht es um den Aufbau des Vergleichs, denn den repariert später keine Statistik.

Warum reicht ein Vergleich ohne Zufall nicht?

Ein Online-Händler für Bürobedarf will ein Nachfüll-Abo einführen und hat dafür zwei Beschreibungen. Er möchte wissen, welche mehr Kundinnen und Kunden überzeugt. Naheliegend wäre dieser Weg: Fassung A geht am Dienstagvormittag an die erste Hälfte der Kundenliste, Fassung B am Donnerstagabend an die zweite. Bei B sagen mehr Befragte, sie würden das Abo abschließen. Ist B also die bessere Beschreibung?

Aus diesem Vergleich lässt sich das nicht ablesen. Die beiden Gruppen unterscheiden sich nämlich nicht nur in der Beschreibung. Am Donnerstagabend antworten womöglich andere Menschen als am Dienstagvormittag. Und war die Liste nach Kundennummer sortiert, stehen in den beiden Hälften verschiedene Kunden:

Gewollt ist nur der Unterschied in der ersten Zeile.

Jeder der drei anderen Unterschiede kann die Antworten ebenso verschieben wie die Beschreibung. Im Ergebnis stecken dann mehrere mögliche Ursachen in einer einzigen Zahl, und keine Rechnung trennt sie nachträglich wieder. Die Fachliteratur nennt ein solches Ergebnis vermengt (englisch „confounded“) und zieht daraus eine klare Folgerung: Solange andere Einflüsse nicht kontrolliert sind, lässt sich über die Wirkung der Änderung nichts sagen (Malhotra und Birks 2007, S. 307).

Könnte man die Gruppen nicht von Hand gleich machen, also darauf achten, dass in beiden gleich viele Stammkunden und gleich viele Privatkunden sind? Das gelingt nur für die wenigen Merkmale, an die Sie denken und die Sie kennen. In allen anderen können die Gruppen weiter ungleich sein (Malhotra und Birks 2007, S. 311). Wer misstraut Abos grundsätzlich? Wer hat gerade schlechte Erfahrungen mit einer Lieferung gemacht? Das steht in keiner Kundenliste. Und noch etwas spricht dagegen: Wer nach eigenem Urteil zuteilt oder die Befragten selbst wählen lässt, erzeugt leicht Gruppen, die schon vor dem Test verschieden sind (Malhotra und Birks 2007, S. 310).

Die Lösung kennen Sie vom Kartenspielen. Mischen Sie ein Kartenspiel gründlich und teilen Sie die Karten abwechselnd auf zwei Stapel aus. In beiden Stapeln liegen danach etwa gleich viele rote Karten, etwa gleich viele Bildkarten und etwa gleich viele hohe und niedrige Karten, obwohl niemand darauf geachtet hat. Das gilt sogar für Eigenschaften, an die beim Austeilen keiner denkt: Auch die Karten mit einem Knick in der Ecke verteilen sich etwa gleich. Der Grund ist einfach. Das Mischen weiß nichts über die Karten. Es kann deshalb keine Sorte bevorzugt auf einen der beiden Stapel legen. Jede Karte hat für beide Stapel dieselbe Chance, und bei vielen Karten einer Sorte gleichen sich die Zufälle weitgehend aus. Ohne Mischen geht das schief: Teilen Sie ein Spiel, das noch nach Farben sortiert ist, einfach in der Mitte, liegen alle roten Karten auf einem Stapel. Ähnlich ist es bei einer Kundenliste, die nach Kundennummer sortiert ist und in der Mitte geteilt wird.

Mit einer Liste von Menschen ist es ähnlich. Entscheidet das Los, wer Fassung A bekommt und wer Fassung B, dann weiß das Los nichts über die Personen: nicht, wer Stammkunde ist, nicht, wer abends antwortet, und nicht, wer Abos misstraut. Es kann deshalb keine dieser Eigenschaften bevorzugt in eine der beiden Gruppen legen. Alle Eigenschaften verteilen sich etwa gleich, die bekannten und die unbekannten. Übrig bleibt ein einziger Unterschied mit System, und der kommt nicht vom Los, sondern von Ihnen: die Fassung.

Damit ändert sich, was ein Unterschied in den Antworten bedeuten kann. Ohne Los kommen viele Erklärungen in Frage, und Sie kennen nicht einmal alle. Mit Los bleiben zwei: die Fassung oder der Zufall beim Auslosen. Und wie viel der Zufall allein ausmacht, lässt sich berechnen. Das Los ersetzt also Unterschiede, die Sie nicht kennen, durch Zufall, mit dem Sie rechnen können.

„Etwa gleich“ heißt nicht „genau gleich“. Wie gut das Los ausgleicht, hängt von der Zahl ab: Je kleiner die Liste, desto eher fallen die beiden Gruppen ungleich aus.

Das Los macht Gruppen nur im Durchschnitt gleich und kann bei kleinen Zahlen versagen (Malhotra und Birks 2007, S. 311). Deshalb gehört zu jedem Test die Frage nach der Gruppengröße, und deshalb lohnt nach dem Test ein Blick darauf, ob die Gruppen in den Merkmalen, die Sie kennen, tatsächlich ähnlich ausgefallen sind (ebd.). An einer Stelle trägt das Bild nicht: Karten bleiben auf ihrem Stapel liegen, Menschen können ihre Gruppe verlassen, indem sie den Fragebogen abbrechen. Was daraus folgt, steht unter Wie lesen Sie das Ergebnis?

Diese zufällige Zuteilung heißt Randomisierung. Ein Experiment ist ein Vergleich, bei dem Sie selbst eine Sache verändern, ihre Wirkung messen und alle anderen Einflüsse kontrollieren, am besten durch zufällige Zuteilung (Malhotra und Birks 2007, S. 306, 311). Zufällig heißt dabei: Weder Sie noch die Befragten noch irgendein Merkmal der Personen entscheidet über die Gruppe. Gibt es zwei Fassungen, spricht man vom A/B-Test. In der Umfrageforschung heißt derselbe Aufbau Split-Ballot-Experiment oder gegabelte Befragung: Zufällig gebildete Teilgruppen bekommen inhaltlich gleiche, aber verschieden gestaltete Fragen (Jacob et al. 2019, S. 46; Möhring und Schlütz 2019, S. 19).

Kurz gesagt: Ohne Los unterscheiden sich zwei Gruppen in vielem, und Sie wissen nicht, worin. Mit Los unterscheiden sie sich im Durchschnitt nur in der Fassung, und was der Zufall beim Auslosen dazutut, lässt sich berechnen. Je mehr Personen, desto besser gleicht das Los aus. Das ist der Grund, warum nur ein Experiment mit zufälliger Zuteilung die Frage nach der Wirkung beantwortet.

Die Kehrseite gilt auch: Stammen Daten nicht aus einem kontrollierten Experiment, lässt sich nur behaupten, dass eine Beziehung zwischen zwei Größen besteht, nicht, in welche Richtung sie wirkt (Marx 2026, Folie 209). Mehr dazu steht im Beitrag Korrelation und Kausalität.

Was lässt sich in einer Umfrage testen?

Testen lässt sich alles, was Sie zwei Gruppen im Fragebogen in zwei Fassungen vorlegen können. A/B-Tests kennt man auch von Webseiten und Newslettern. Hier geht es um den Test innerhalb einer Befragung.

Fragen und Skalen. Wie stark schon Kleinigkeiten wirken, zeigt ein bekanntes Experiment aus einer bundesweiten Bevölkerungsumfrage. Gefragt wurde, wie erfolgreich man bisher im Leben war, auf einer elfstufigen Skala von „überhaupt nicht erfolgreich“ bis „außerordentlich erfolgreich“. Ein Teil der Befragten sah die Stufen mit den Zahlen 0 bis 10, der andere mit −5 bis +5. Auf der Skala von 0 bis 10 wählten 34 % einen Wert von 0 bis 5. Auf der Skala von −5 bis +5 wählten nur 13 % einen Wert von −5 bis 0, also denselben Abschnitt der Skala (Schwarz et al. 1991, zitiert nach Jacob et al. 2019, S. 46). Die Wörter waren dieselben, nur die Zahlen daneben nicht. Ein weiteres Beispiel und der Weg zur besseren Formulierung stehen im Beitrag Fragen formulieren, die Wirkung der Reihenfolge im Beitrag Reihenfolgeeffekte.

Solche Tests gehen im Pretest ebenso wie in der eigentlichen Befragung (Schnell 2019, S. 135). In der eigentlichen Befragung haben sie einen Preis: Eine Frage, die Sie in zwei Fassungen stellen, liegt danach nicht mehr für alle Befragten in derselben Form vor. Was Sie für die gesamte Stichprobe auswerten wollen, müssen Sie auch allen gleich gestellt haben (ebd.). Soll das Thema trotzdem für alle auswertbar bleiben, stellen Sie dazu zusätzlich eine Frage, die alle in derselben Form bekommen (ebd.). Einen Pretest ersetzt der A/B-Test nicht: Ob eine Frage überhaupt verstanden wird, klären Sie vorher.

Konzepte und Preise. Jede Gruppe sieht eine Beschreibung, eine Anzeige oder einen Preis und beantwortet danach dieselben Fragen. Solche Befragungsexperimente sind echte Experimente. Untersucht werden aber fast immer Reaktionen in Worten auf Vorlagen in Worten, und ob sie sich auf das Verhalten außerhalb der Befragung übertragen lassen, ist grundsätzlich fraglich (Schnell 2019, S. 56). Das Ergebnis sagt Ihnen also, welche Beschreibung im Fragebogen besser ankommt. Wie viele Menschen das Abo wirklich abschließen, sagt es nicht. Für Preise gilt das noch stärker: Im Fragebogen kostet ein „ja“ nichts.

Jede Person sieht nur eine Fassung. Wer beide sieht, vergleicht sie, und eine frühere Antwort beeinflusst die spätere (Malhotra und Birks 2007, S. 309). Dann messen Sie den Vergleich und nicht mehr die Wirkung der einzelnen Fassung.

Wie planen Sie den Test?

Ein A/B-Test wird vor dem Start entschieden, nicht bei der Auswertung. Fünf Schritte genügen:

Eine Änderung, sonst alles gleich

Die beiden Fassungen unterscheiden sich in genau einer Sache. Alles andere bleibt gleich: derselbe Fragebogen, dieselbe Stelle im Fragebogen, dieselben Fragen danach, derselbe Zeitraum. Ändern Sie zugleich den Text und das Bild, wissen Sie am Ende nur, dass das Paket anders wirkt, aber nicht, welcher Teil.

Das ist kein Verbot. Sie dürfen ein ganzes Paket testen, etwa die alte Beschreibung eines Angebots gegen eine neu geschriebene. Dann lautet das Ergebnis aber „die neue Beschreibung überzeugt mehr Befragte“ und nicht „die kürzere Überschrift überzeugt mehr Befragte“. Wollen Sie zwei Dinge getrennt beurteilen, etwa Text und Bild, brauchen Sie alle vier Kombinationen und damit vier Gruppen. Ein solcher Aufbau zeigt auch, ob beide Änderungen zusammen anders wirken als jede für sich (Malhotra und Birks 2007, S. 321). Er braucht aber entsprechend mehr Personen.

Eine der beiden Fassungen ist in der Praxis oft das, was Sie bisher verwenden. Als Kontrollgruppe gilt dann die Gruppe mit dem bisherigen Stand, nicht eine Gruppe, die gar nichts bekommt (Malhotra und Birks 2007, S. 314).

Was vor dem Start feststeht

Schreiben Sie vier Dinge auf, bevor die erste Antwort eingeht:

1. Die Messgröße. Eine Hauptfrage, an der Sie die Fassungen vergleichen, und wie Sie sie auszählen. Im Beispiel des Händlers: der Anteil der Befragten, die das Abo „eher wahrscheinlich“ oder „sehr wahrscheinlich“ abschließen würden.
2. Der kleinste Unterschied, der zählt. Ab wie vielen Prozentpunkten würden Sie sich für die neue Fassung entscheiden? Aus dieser Zahl ergibt sich die Gruppengröße. Die Tabelle und eine Faustregel dazu stehen unter Wie groß müssen die Gruppen sein?
3. Das Ende. Die Zahl der Antworten oder das Datum, an dem Sie auswerten. Warum das wichtig ist, steht unter Zwischenstände.
4. Wer zählt. Die Regeln, nach denen ein Fragebogen als abgeschlossen und als brauchbar gilt, gleich für beide Gruppen.

Das klingt nach Bürokratie, kostet aber eine Viertelstunde und schützt vor einer naheliegenden Selbsttäuschung: nach dem Test so lange zu suchen, bis irgendwo ein Unterschied erscheint.

Wie groß müssen die Gruppen sein? Stichprobengröße für den A/B-Test

Je kleiner der Unterschied ist, den Sie erkennen wollen, desto mehr Personen brauchen Sie, und zwar viel mehr. Die Tabelle zeigt es für eine Ausgangslage, in der 40 % der Befragten der bisherigen Fassung zustimmen:

Eigene Näherungsrechnung für den Vergleich zweier Anteile.

Gerechnet ist das wie im Beitrag Incentives bei Umfragen. Dort prüfen zwei Gruppen, ob ein Gutschein die Teilnahme erhöht, und für 25 gegen 35 % kommen etwa 329 Personen je Gruppe heraus. Die Vorgabe ist dieselbe: Der Test soll einen wirklich vorhandenen Unterschied dieser Größe in etwa 80 von 100 solchen Versuchen zeigen und nur in etwa 5 von 100 Versuchen einen Unterschied melden, den es nicht gibt. Wer den Unterschied halbiert, braucht rund viermal so viele Personen.

Für Ihre eigenen Zahlen genügt eine Faustregel mit denselben Vorgaben:

Dabei ist p der Mittelwert der beiden Anteile und d ihr Unterschied, beide als Dezimalzahl. Für 40 gegen 50 % ist p = 0,45 und d = 0,10: 16 × 0,45 × 0,55 / 0,10² = 396, nahe an den 388 der Tabelle.

Zwei Dinge folgen daraus. Erstens zählt die Tabelle Antworten, nicht Einladungen zur Umfrage. Für 776 Antworten brauchen Sie bei einer Rücklaufquote von 20 % rund 3.900 Einladungen. Zweitens beantwortet der Stichprobenrechner eine andere Frage, nämlich wie genau ein einzelner Anteil geschätzt wird. Für den Vergleich zweier Gruppen brauchen Sie mehr.

Und wenn Ihre Liste nur 150 Personen hat? Dann kann ein A/B-Test nur große Unterschiede zeigen: Selbst wenn alle 150 antworten, sind es 75 je Gruppe, und das reicht bei einem Ausgangswert von 40 % erst für einen Unterschied von etwa 23 Prozentpunkten (eigene Rechnung, dieselben Vorgaben wie in der Tabelle). Das ist nicht wertlos. Sie erfahren, ob die neue Fassung sehr viel besser oder sehr viel schlechter ist. Kleinere Unterschiede bleiben offen, und so lesen Sie dann auch das Ergebnis.

Wie lesen Sie das Ergebnis?

Das Ergebnis eines A/B-Tests ist nicht „B hat gewonnen“. Es ist ein Unterschied mit einer Unsicherheit: um wie viel die Fassungen auseinanderliegen und in welchem Bereich der wahre Unterschied plausibel liegt. Diesen Bereich gibt das Konfidenzintervall der Differenz an.

Von Ihren Antworten dorthin führen fünf Schritte:

Ist Ihre Messgröße ein Anteil, brauchen Sie für die Schritte 2 bis 4 je Fassung nur zwei Zahlen: wie viele Personen geantwortet haben und wie viele davon die gesuchte Antwort gegeben haben. Das Beispiel weiter unten rechnet alle fünf Schritte vor. Welcher Test für den Vergleich passt, hängt von der Messgröße ab: für Anteile der Chi-Quadrat-Test, für Mittelwerte der t-Test. Der Beitrag Welcher statistische Test passt? führt Sie zum richtigen.

Wie das Intervall berechnet wird, zeigt ausführlich der Beitrag p-Wert und Signifikanz. Drei Fälle kommen vor:

• Das Intervall liegt ganz auf einer Seite der Null. Die Daten sprechen klar für eine Richtung. Wie groß der Vorsprung ist, bleibt innerhalb des Intervalls offen. Für die Entscheidung zählt dann auch das untere Ende: Würde sich die Umstellung noch lohnen, wenn der Vorsprung nur so groß wäre?
• Das Intervall schließt die Null ein. Die Daten sind mit einem Vorsprung von A, von B und mit gar keinem Unterschied vereinbar. Die ehrliche Lesart ist „nicht entscheidbar“, nicht „die Fassungen sind gleich“.
• Das Intervall ist schmal und liegt ganz in dem Bereich, den Sie vorher als unbedeutend festgelegt haben. Dann sprechen die Daten gegen einen Unterschied, der für Ihre Entscheidung wichtig wäre. Dafür brauchen Sie große Gruppen.

Zufällige Zuteilung ist nicht dasselbe wie eine Zufallsstichprobe. Die Zuteilung macht die beiden Gruppen miteinander vergleichbar, auch wenn Ihre Befragten selbst nicht zufällig aus allen Kundinnen und Kunden ausgewählt wurden. p-Wert und Intervall sagen dann etwas über den Unterschied der Fassungen bei den Menschen, die teilgenommen haben. Ob dasselbe für alle Kunden gilt, ist eine zweite Frage, und sie hängt davon ab, wie die Befragten ausgewählt wurden.

Durchgerechnet: zwei Beschreibungen, 800 Antworten

So steht das Ergebnis des Beispiels in einem Bericht:

Fassung B (Nutzen zuerst) erreichte 49 % „eher“ oder „sehr wahrscheinlich“, Fassung A (Bedingungen zuerst) 40 %, bei je 400 zufällig zugeteilten Befragten. Die Differenz beträgt 9 Prozentpunkte (95-%-Konfidenzintervall 2,1 bis 15,9 Prozentpunkte, p = 0,010). Der vorab festgelegte Mindestunterschied von 10 Prozentpunkten liegt innerhalb des Intervalls und ist damit weder belegt noch ausgeschlossen. Gemessen wurde die geäußerte Abschlussbereitschaft im Fragebogen, nicht der tatsächliche Abschluss.

Drei Dinge gehören zu jedem Ergebnis eines A/B-Tests. Erstens die Zahl selbst: Sie berichten die Differenz mit ihrem Konfidenzintervall. Zweitens die Kontrolle: Sind die Gruppen in den Merkmalen, die Sie kennen, ähnlich ausgefallen, und sind nach einer Fassung mehr Personen ausgestiegen als nach der anderen? Steigen nach einer Fassung deutlich mehr aus, hat sie nicht nur die Antworten verändert, sondern auch, wer überhaupt antwortet (Malhotra und Birks 2007, S. 310). Drittens die Reichweite: Auch ein sauberer Test beweist die Ursache nicht endgültig. Kausalität lässt sich nie beweisen, nur begründet erschließen (Malhotra und Birks 2007, S. 303). Ein A/B-Test ist aber die beste Begründung, die Sie mit einer Befragung bekommen können.

Welche Fehler machen das Ergebnis wertlos?

Drei Fehler fallen kaum auf. Bei allen dreien wirkt das Ergebnis sauber, obwohl es das nicht ist.

Zwischenstände ansehen und früh aufhören

Die Versuchung ist groß: Nach 150 Antworten liegt B deutlich vorn, der Test meldet p < 0,05, also Schluss. Das Problem dabei: Ein Zwischenstand schwankt. Wer oft genug nachsieht, erwischt irgendwann einen Moment, in dem eine Fassung zufällig weit vorn liegt, und wer genau dann aufhört, hält diesen Moment für das Ergebnis.

Wie viel das ausmacht, zeigt eine Simulation. Beide Fassungen wirken darin in Wahrheit gleich (je 45 % Zustimmung, 400 Personen je Gruppe), ein signifikantes Ergebnis ist also immer ein Fehlalarm:

Eigene Simulation mit 200.000 Tests je Zeile.

Die 5 von 100 in der ersten Zeile sind das Risiko, das Sie mit der Grenze p < 0,05 bewusst eingehen. Mit fünf Blicken auf den Zwischenstand wird daraus fast das Dreifache.

Was hilft: Legen Sie vor dem Start fest, wann Sie auswerten, und werten Sie dann einmal aus. Den Rücklauf dürfen Sie jederzeit beobachten, also wie viele geantwortet haben. Nur die Ergebnisse je Fassung bleiben bis zum Ende zu. Wollen Sie unbedingt eine Zwischenauswertung, planen Sie sie vorher ein und legen Sie eine strengere Grenze an, wie bei vielen Tests.

Viele Fassungen, viele Messgrößen, viele Teilgruppen

Jeder zusätzliche Vergleich ist eine zusätzliche Gelegenheit für einen Zufallstreffer. Mit vier Fassungen gibt es schon sechs Paare, die sich vergleichen lassen. Wirken alle vier gleich, zeigt trotzdem in rund 19 von 100 solchen Tests mindestens ein Paar einen signifikanten Unterschied (eigene Simulation mit 200 Personen je Fassung). Bei einem einzigen Vergleich wären es 5 von 100.

Dasselbe geschieht, wenn Sie zwei Fassungen an zehn Fragen vergleichen oder das Ergebnis nachträglich nach Alter, Geschlecht und Kundengruppe aufteilen, bis sich irgendwo etwas zeigt. „Bei Neukunden unter 30 wirkt Fassung B“ ist nach einer solchen Suche eine Vermutung für den nächsten Test, kein Ergebnis.

Was hilft: eine Hauptfrage, wenige vorher festgelegte Vergleiche, und alles Weitere als Erkundung kennzeichnen. Die Rechnung und die Korrektur für viele Tests stehen im Beitrag p-Wert und Signifikanz.

Verschiedene Feldzeiten

Zwei Wochen Fassung A, danach zwei Wochen Fassung B: Das ist kein A/B-Test, auch wenn es so aussieht. Zwischen den beiden Zeiträumen ändert sich mehr als die Fassung. Ein Feiertag, eine Preiserhöhung, eine Nachricht über Ihre Branche, das Wetter: Ereignisse, die während eines Versuchs von außen dazukommen, können das Ergebnis ebenso verschieben wie die Änderung selbst (Malhotra und Birks 2007, S. 308). Beide Fassungen laufen deshalb gleichzeitig, und über die ganze Feldzeit werden beide abwechselnd vergeben. Dann trifft jedes Ereignis von außen beide Gruppen.

Weitere Fehler in Kürze

A/B-Tests mit QUESTIONSTAR

Werbung in eigener Sache, aber mit konkreten Funktionen.

A/B-Test im Fragebogen. Sie legen alle Fassungen im selben Fragebogen an, als einzelne Fragen oder als ganze Seiten, und ordnen sie im Menü „A/B-Tests“ den Varianten zu. Jede Person sieht dann nur eine Variante. Möglich sind auch mehr als zwei Varianten und bis zu vier getrennte Tests in einem Fragebogen. Bei mehreren Tests bildet QUESTIONSTAR alle Kombinationen der Varianten. Die Einrichtung beschreibt die Hilfeseite A/B-Tests, dort finden Sie auch einen Beispielfragebogen, den Sie in Ihr Konto kopieren können.

Wer bekommt welche Fassung? QUESTIONSTAR verteilt die Fassungen möglichst gleichmäßig: Wer neu dazukommt, erhält die Fassung, die bisher am wenigsten gefüllt ist. Über die Person weiß diese Regel nichts. Sie richtet sich nur danach, wann jemand die Umfrage öffnet. Die Regel schaut also auf den Zähler und nicht auf den Menschen. Der Gedanke vom Anfang trägt deshalb auch hier: Was nichts über die Person weiß, kann keine Eigenschaft gezielt in eine Gruppe legen. Mit dem Händler vom Anfang, der Fassung A am Dienstag und Fassung B am Donnerstag verschickt hat, ist das nicht zu verwechseln: Dort bekam ein ganzer Zeitraum eine einzige Fassung. Hier wechseln die Fassungen während der gesamten Feldzeit von Person zu Person, sodass frühe wie späte Teilnehmende beide Fassungen bekommen. Ob die Gruppen in den Merkmalen, die Sie kennen, tatsächlich ähnlich ausgefallen sind, prüfen Sie wie bei jedem Test in der Auswertung. Sobald die Umfrage läuft und Antworten eingegangen sind, zeigt QUESTIONSTAR einen Füllstand an, und einen ausführlichen Bericht dazu können Sie per Link mit anderen teilen.

Auswertung. Die Variante steht in den exportierten Daten in einer eigenen Spalte, mit ihrem Kennbuchstaben (A, B, C, D ...). Sie exportieren die Antworten als XLSX-, CSV- oder SPSS-Datei und vergleichen die Gruppen in einem Statistikprogramm. Oder Sie lassen einen KI-Assistenten rechnen, der über die MCP-Schnittstelle mit QUESTIONSTAR verbunden ist: Er liest die Antworten und berechnet daraus die Differenz, ihr Konfidenzintervall und den Test. Gerechnet wird dann vom Assistenten, nicht von QUESTIONSTAR. Nennen Sie ihm das Verfahren ausdrücklich und lassen Sie sich Fallzahlen, Differenz, Intervall und p-Wert ausgeben, zum Beispiel so: „Vergleiche die Varianten A und B bei der Frage zur Abschlusswahrscheinlichkeit. Zähle je Variante, wie viele ‚eher wahrscheinlich‘ oder ‚sehr wahrscheinlich‘ geantwortet haben, und gib Fallzahlen, Differenz in Prozentpunkten, 95-%-Konfidenzintervall der Differenz und den p-Wert des Tests für zwei Anteile aus.“

Abbrüche je Fassung prüfen. Weil die Regel die Fassungen gleichmäßig füllt, sehen Sie an der Größe der Gruppen nicht, ob nach einer Fassung mehr Personen aussteigen als nach der anderen. Das zeigt der Export. Auch Fragebögen, die nicht abgeschlossen wurden, stehen darin, und zwar mit dem Kennbuchstaben ihrer Variante. Zählen Sie je Variante zwei Zahlen aus: alle Fragebögen mit diesem Kennbuchstaben und davon die abgeschlossenen. Die Differenz ist die Zahl der nicht abgeschlossenen Fragebögen je Variante. Im Beispiel oben sieht die Zählung so aus:

Die Zählung allein zeigt noch nicht, an welcher Stelle jemand ausgestiegen ist. Das sehen Sie daran, bis zu welcher Frage ein Fragebogen ausgefüllt ist.

Ein zweiter Weg: die Zufallsauswahl von Seiten. Die Hilfeseite Zufallsauswahl nennt als Einsatz ausdrücklich „Experimente, bei denen jede Person nur eine Bedingung sehen soll“. Sie legen dafür je Fassung eine Seite an und lassen aus diesen Seiten zufällig eine festgelegte Anzahl anzeigen, zum Beispiel eine von drei. Das Beispiel der Hilfeseite sind drei Seiten mit Produktvarianten, von denen jede Person nur eine sieht.

Nicht zu verwechseln. Die zufällige Reihenfolge von Antworten, Fragen oder Seiten ist kein A/B-Test, auch wenn sie in der Fachsprache ebenfalls Randomisierung heißt. Sie vergleicht nichts, sondern sorgt dafür, dass kein Platz in der Reihenfolge bevorzugt wird.

Checkliste: A/B-Test in der Umfrage

Häufige Fragen zum A/B-Test in Umfragen

Was ist ein A/B-Test (Split-Ballot-Experiment) in einer Umfrage?

Ein A/B-Test ist ein Experiment mit zwei Fassungen: Zwei zufällig gebildete Gruppen bekommen je eine Fassung, zum Beispiel zwei Formulierungen einer Frage, zwei Antwortskalen oder zwei Beschreibungen eines Angebots. Danach werden die Antworten verglichen. In der Umfrageforschung heißt derselbe Aufbau Split-Ballot-Experiment (Jacob et al. 2019, S. 46).

Warum muss die Zuteilung zufällig sein?

Weil nur das Los dafür sorgt, dass sich die Gruppen im Durchschnitt in nichts außer der Fassung unterscheiden, auch nicht in Merkmalen, die Sie nicht kennen. Die zufällige Zuweisung ist das entscheidende Kriterium eines Experiments (Schnell 2019, S. 54). Ohne sie können sich die Gruppen schon vorher unterscheiden, und der Unterschied in den Antworten hat mehrere mögliche Ursachen.

Wie viele Teilnehmende braucht ein A/B-Test?

Das hängt vom Unterschied ab, den Sie erkennen wollen. Liegt die Zustimmung bei etwa 40 %, brauchen Sie für einen Unterschied von 10 Prozentpunkten rund 390 Personen je Gruppe, für 5 Prozentpunkte gut 1.500 je Gruppe und für 20 Prozentpunkte knapp 100 je Gruppe (eigene Rechnung: Der Test soll einen vorhandenen Unterschied in etwa 80 von 100 Versuchen zeigen und nur in etwa 5 von 100 Versuchen einen Unterschied melden, den es nicht gibt).

Darf ich den Test beenden, sobald das Ergebnis signifikant ist?

Nein. Wer mehrfach auf den Zwischenstand sieht und beim ersten signifikanten Ergebnis aufhört, erhöht das Risiko eines Fehlalarms deutlich: bei insgesamt fünf Auswertungen einschließlich der letzten von 5 auf rund 14 von 100 Tests (eigene Simulation). Legen Sie den Zeitpunkt der Auswertung vorher fest und werten Sie einmal aus.

Braucht ein A/B-Test eine Kontrollgruppe?

Er braucht eine Vergleichsgruppe, und die hat er immer: die Gruppe mit der anderen Fassung. Ist eine der beiden Fassungen Ihr bisheriger Stand, dann ist diese Gruppe die Kontrollgruppe. Eine Gruppe, die gar nichts vorgelegt bekommt, ist dafür nicht nötig (Malhotra und Birks 2007, S. 314).

Kann ich mehr als zwei Fassungen testen?

Ja, das ist dann ein A/B/C-Test. Jede zusätzliche Fassung braucht eine eigene, ausreichend große Gruppe, und mit der Zahl der Vergleiche steigt die Zahl der Zufallstreffer: Bei vier Fassungen gibt es sechs Paarvergleiche. Legen Sie vorher fest, welche Vergleiche zählen.

Was mache ich, wenn der Test keinen signifikanten Unterschied zeigt?

Ein nicht signifikanter Unterschied belegt nicht, dass beide Fassungen gleich wirken. Er heißt nur, dass die Daten einen Unterschied nicht vom Zufall trennen können. Berichten Sie die Differenz mit ihrem 95-%-Konfidenzintervall. Ein breites Intervall lässt die Frage offen. Ein schmales Intervall um die Null kann dagegen gegen Unterschiede sprechen, die für Ihre Entscheidung wichtig wären.

Beweist ein A/B-Test, dass die Änderung die Ursache ist?

Er ist die stärkste Begründung, die eine Befragung liefern kann, aber kein endgültiger Beweis: Kausalität lässt sich nur erschließen (Malhotra und Birks 2007, S. 303). Und das Ergebnis gilt zunächst für die Situation, in der gemessen wurde. Ob eine Antwort im Fragebogen dem Verhalten außerhalb entspricht, ist eine eigene Frage (Schnell 2019, S. 56).

Quellen

Jacob, R., Heinz, A. und Décieux, J. P. (2019). Umfrage. Einführung in die Methoden der Umfrageforschung (4. Aufl.). Berlin/Boston: De Gruyter Oldenbourg.

Malhotra, N. K. und Birks, D. F. (2007). Marketing Research. An Applied Approach (3rd European edition). Harlow: Pearson Education.

Marx, P. (2026). Grundlagen der Umfrageforschung. Foliensatz, Folie 209 (Kapitel 5). QUESTIONSTAR. Folie 209.

Möhring, W. und Schlütz, D. (2019). Die Befragung in der Medien- und Kommunikationswissenschaft. Eine praxisorientierte Einführung (3. Aufl.). Wiesbaden: Springer VS.

Schnell, R. (2019). Survey-Interviews. Methoden standardisierter Befragungen (2. Aufl.). Wiesbaden: Springer VS. DOI 10.1007/978-3-531-19901-6.

Schwarz, N., Knäuper, B., Hippler, H. J., Noelle-Neumann, E. und Clark, L. (1991). Rating Scales: Numeric Values May Change the Meaning of Scale Labels. Public Opinion Quarterly, 55(4), 570-582. Zitiert nach Jacob et al. (2019), S. 46.

Ich wünsche Ihnen Tests, die eine Frage entscheiden, und die Gelassenheit, ein „nicht entscheidbar“ auch so zu berichten.

Übrigens, das hier ist verwandt:

• Incentives bei Umfragen: was online funktioniert und was es bringt
• p-Wert und Signifikanz: einfach erklärt, richtig gedeutet
• Korrelation und Kausalität: r und Regression richtig lesen

Dr. Paul Marx

Autor: Dr. Paul Marx
Dr. Paul Marx ist Gründer und Geschäftsführer von QUESTIONSTAR und war Professor für Marketing an der Universität Siegen.