A/B-Tests

Über A/B-Tests

A/B-Tests sind eine bewährte Methode, die in verschiedenen Disziplinen eingesetzt wird, um Unterschiede in den Reaktionen von Umfrageteilnehmern auf zwei oder mehr Varianten eines Stimulus zu testen. Ein Stimulus kann beispielsweise eine Frage, ein Bild, eine Werbeanzeige, eine Textformulierung, das Design einer Webseite, ein Video und vieles mehr sein. Ziel des A/B-Tests ist es, die beste Variante zu bestimmen.

Die Umfrageteilnehmer werden zufällig einer Gruppe zugewiesen, in der ihnen nur eine Variante des Stimulus angezeigt wird. Sie wissen nicht, welche anderen Varianten zur Auswahl stehen. Dies stellt sicher, dass die Bewertungen der Teilnehmer nicht durch den Vergleich mit anderen Varianten beeinflusst werden, sodass die Ergebnisse unverfälscht und objektiv bleiben.

In diesem Artikel zeigen wir Ihnen, wie Sie A/B-Tests in QUESTIONSTAR einrichten und durchführen.

A/B-Test einrichten bzw. bearbeiten

Voraussetzungen:Um einen A/B-Test einzurichten, erstellen Sie zunächst einen Fragebogen, der alle Varianten Ihres Stimulus oder Ihrer Stimuli enthält. Diese Varianten können entweder auf einer Fragebogenseite platziert werden oder, falls gewünscht, für jede Variante eine separate Seite angelegt werden. Im Laufe der Umfrage wird jedem Teilnehmer nur eine Variante des Stimulus angezeigt, während alle anderen Varianten ausgeblendet bleiben.

Für kleinere Stimuli wie z.B. eine Frage, kurzen Text oder kleines Bild empfehlen wir, alle Varianten auf einer einzigen Fragebogenseite zu platzieren. Diese Methode ist auch dann sinnvoll, wenn die Varianten durch eine oder mehrere Fragen bewertet werden, die für alle Varianten einheitlich sind.

Bei umfangreicheren Varianten, wie einer größeren Abbildung mit detaillierter Textbeschreibung, empfehlen wir, für jede Variante eine eigene Fragebogenseite zu erstellen. In solchen Fällen kann es sinnvoll sein, die Bewertung der Varianten auf der Seite nach der Präsentation des Stimulus vorzunehmen, sodass der A/B-Test auf der Präsentationsseite bleibt und die Bewertung außerhalb des Tests erfolgt.

Es können auch komplexere Formen von A/B-Tests in QUESTIONSTAR durchgeführt werden. Zum Beispiel können Stimuli gepaart werden, sodass ein Stimulus (z. B. eine Fragenvariante) zu Beginn des Fragebogens angezeigt wird und ein anderer, diesem Stimulus entsprechender Stimulus (eine Variante einer anderen Frage), an einer späteren Stelle im Fragebogen erscheint.

Um den A/B-Test zu aktivieren oder zur Bearbeitung aufzurufen:

1. Klicken Sie im oberen Menübalken auf die drei Punkte.
2. Wählen Sie den Punkt “A/B-Tests” aus.

a) Wenn die Varianten Ihres Stimulus sich innerhalb einer Fragebogenseite befinden oder sich auf mehreren Seiten verteilen (jedoch keine vollständigen Seiten sind):

3. Wechseln Sie zum Reiter „Fragen“.
4. Wählen Sie die Fragen aus, die zu einem Szenario gehören.
5. Klicken Sie auf den Button mit dem Pfeil nach rechts neben der Box einer entsprechenden Variante des Tests oder ziehen Sie eine der Fragen per Maus in das Variantenfeld, um die ausgewählten Fragen der Variante des Tests zuzuweisen. Alternativ können Sie die Fragen einzeln in das Variantenfeld verschieben.

b) Wenn Ihre Test-Varianten vollständige Seiten sind, verfahren Sie analog wie oben beschrieben, wählen jedoch im Schritt 3 „Seiten“ aus.

Auch in diesem Fall können mehrere Seiten, die nicht unbedingt nacheinander folgen, einer Test-Variante zugewiesen werden.

A/B/C/D/…: Tests mit mehr als zwei Varianten

Oft möchte man mehr als nur zwei Varianten eines Stimulus testen. QUESTIONSTAR stellt in dieser Hinsicht keine Grenzen und ermöglicht es Ihnen, so viele Varianten zu testen, wie Sie möchten.

1. Sie können eine Test-Variante hinzufügen, indem Sie auf den Button „Variante hinzufügen“ klicken.
2. Um eine fehlerhaft erstellte bzw. überflüssige Test-Variante zu löschen, klicken Sie auf das Mülleimer-Icon rechts oberhalb des Variantenfeldes.

Mehrere A/B-Tests in einem Fragebogen

Es kommt vor, dass man mehrere Stimuli, die unabhängig voneinander sind, in einem Fragebogen testen möchte. Auch das können Sie mit QUESTIONSTAR umsetzen. Dafür stellen wir Ihnen folgende Funktionen zur Verfügung:

1. Um einen neuen Test mit einem weiteren Stimulus einzufügen, klicken Sie auf das Plus-Icon neben dem Test-Reiter (2) und weisen Sie Fragen oder Seiten dem neuen Test zu. Sie können insgesamt bis zu vier verschiedene Stimuli (separate A/B-Tests) in einem Fragebogen testen.
2. Der Test-Reiter ermöglicht es Ihnen, zwischen verschiedenen A/B-Tests zu wechseln. Klicken Sie einfach auf einen Test im Reiter, um zu seinen Einstellungen zu wechseln.
3. Einen nicht mehr benötigten Test können Sie löschen, indem Sie ihn im Test-Reiter auswählen und dann auf das Mülleimer-Icon klicken.

Kennzeichnung von A/B-Tests im Fragebogen

In QUESTIONSTAR erkennen Sie ganz einfach, welche Seiten und Fragen Bestandteil eines A/B-Tests sind.

1. Im linken Navigationspanel: Seiten und Fragen, die Teil eines A/B-Tests sind, werden im linken Navigationspanel grün hervorgehoben. Diese Hervorhebung ermöglicht es Ihnen, auf einen Blick die Zuordnung einzelner Seiten und Fragen zu den jeweiligen Szenarien eines A/B-Tests zu erfassen.
2. Im Editorbereich: Im zentralen Editorbereich wird jede Frage oder Seite, die zu einem A/B-Test gehört, ebenfalls mit einem speziellen „A/B“-Icon markiert. Direkt neben diesem Icon steht der Buchstabe des entsprechenden Testszenarios (z.B. „A“ oder „B“). So können Sie eindeutig erkennen, welchem Szenario die angezeigte Frage zugeordnet ist.

Durch diese klaren Markierungen behalten Sie jederzeit den Überblick über Ihre A/B-Tests und die darin enthaltenen Szenarien.

Wie werden Umfrageteilnehmer den Test-Varianten zugewiesen?

Im Grundgedanken der A/B-Tests liegt die Idee, dass die Umfrageteilnehmer zufällig den verschiedenen Test-Varianten zugewiesen werden. Gleichzeitig strebt man an, dass die Teilnehmergruppen, die den Varianten zugewiesen sind, in etwa gleichmäßig gefüllt werden, um die Vergleichbarkeit der Gruppen – insbesondere im Hinblick auf die Anzahl der Mitglieder – zu gewährleisten. Eine rein zufällige Zuweisung der Probanden zu den Gruppen kann jedoch dazu führen, dass die Verteilung der Teilnehmer über die Gruppen nicht ganz gleichmäßig ist.

Um diesem Trade-Off entgegenzuwirken und eine gleichmäßige Füllung der Varianten-Gruppen zu gewährleisten, setzt QUESTIONSTAR folgende Vorgehensweise ein:

Wenn ein neuer Proband die Umfrage aufruft und den Abschnitt erreicht, in dem der A/B-Test beginnt, prüft die QUESTIONSTAR-Engine den Zustand der Füllung der A/B-Tests und wählt die Variante des Tests aus, die am wenigsten vollständig ausgefüllte Fragebögen hat. Der Proband wird dieser Variante zugewiesen. Auf diese Weise wird sowohl die (in etwa) gleichmäßige Füllung als auch die zufällige Zuweisung der Varianten gewährleistet. (Der Zeitpunkt, an dem der Proband die Umfrage aufruft, ist aus der Sicht des Umfragenerstellers zufällig; so ist der Zustand der Füllung der verschiedenen Test-Varianten zu diesem Moment ebenfalls zufällig. Damit werden beide Anforderungen – die zufällige Zuweisung zu den Test-Varianten und die gleichmäßige Füllung der Test-Szenarien – erfüllt.)

Was passiert, wenn eine Umfrage mehrere A/B/C/…-Tests enthält?

Wenn eine Umfrage mehrere A/B-Tests enthält, erstellt QUESTIONSTAR einen sogenannten Full Factorial Design Plan. Dabei werden alle möglichen Kombinationen der Varianten der verschiedenen Tests erstellt und die Versuchsgruppen entsprechend zugewiesen.

Beispiel:
Wenn eine Gruppe 3 Varianten (1, 2 und 3) und eine andere Gruppe zwei Varianten (a und b) hat, dann ergeben sich insgesamt 6 Kombinationen der beiden Varianten, die die 6 Gruppen bilden: (1) 1, a; (2) 2, a; (3) 3, a; (4) 1, b; (5) 2, b; (6) 3, b.

Wenn ein neuer Proband die Umfrage aufruft, wird geprüft, welche der Gruppen am wenigsten gefüllt ist. Der Proband wird dann dieser Gruppe zugewiesen.

Warum sind die Gruppen trotzdem nicht genau gleichmäßig gefüllt?

Besonders bei Umfragen, die an viele (Hunderte oder Tausende) Testpersonen versendet werden, kann es sein, dass mehrere Teilnehmer gleichzeitig die Umfrage ausfüllen. Für die Entscheidung, welche Gruppe am wenigsten gefüllt ist, werden jedoch nur die Ausfüllungen gezählt, die zum Zeitpunkt, an dem der Proband an der Stelle der Umfrage ankommt, an der der A/B-Test beginnt, bereits abgeschlossen und somit vollständig sind.

Es kann jedoch passieren, dass Probanden die Ausfüllung abbrechen und daher bei der Auswertung nicht berücksichtigt werden. Ob dies der Fall ist, kann zum Zeitpunkt der Gruppenzuweisung nicht bekannt sein. Deshalb kann es vorkommen, dass zu diesem Zeitpunkt mehrere Umfrageteilnehmer derselben Gruppe zugewiesen werden. Dadurch können leichte Abweichungen in der Anzahl der Teilnehmer, die verschiedenen Test-Gruppen zugewiesen werden, entstehen.

Fragensuche und Füllstand

Zwei weitere Funktionen, die in der bisherigen Anleitung nicht beleuchtet sind und sich sicherlich für Arbeit an der Einrichtung von A/B-Tests als hilfreich erweisen können, sind die Fragensuche und der Füllstand:

1. Fragensuche: Insbesondere bei längeren Fragebögen kann das Auffinden der richtigen Frage nicht einfach sein. Wenn Sie aber in das Suchfeld einen Teil des Fragen- bzw. Seitenbeschriftung oder deren Nummer eingeben, können Sie sie schneller finden.
2. Füllstand: Wenn die Umfrage gestartet ist und Antworten eingegangen sind, wird der Füllstandindikator angezeigt.
3. Füllstandbericht: Einen detaillierten Bericht zum Füllstand können mit dem Klick auf dem Button (3) im neuen Browserfenster aufrufen. Sie können dann den Link aus der Adressenzeile des Browsers mit Ihrem Team, Vorgesetzen, oder Kunden teilen.

Fehler in den Einstellungen der A/B-Tests korrigieren

Keiner ist perfekt, Fehler kommen vor – das ist kein Problem! Falls Sie bei der Einrichtung Ihres A/B-Tests einen Fehler gemacht haben, können Sie ihn jederzeit korrigieren.

1. Um ein fehlerhaft in eine Test-Variante hinzugefügtes Element (Frage oder Seite) aus dem Test zu entfernen, wählen Sie das Element aus und klicken Sie auf den Button mit dem Pfeil nach links oder verschieben Sie das Element nach links – in die Liste mit der Fragebogenstruktur.
2. Eine überflüssige Test-Variante können Sie (samt allen Inhalten) löschen, indem Sie auf den Button mit dem Mülleimer oberhalb der nicht mehr gewünschten Variante klicken. Bitte beachten Sie jedoch, dass ein A/B-Test mindestens zwei Varianten enthalten muss – sonst ergibt der Test keinen Sinn.
3. Haben Sie unbeabsichtigt eine Variante des Tests gelöscht, können Sie jederzeit eine neue Variante hinzufügen, indem Sie auf den Button „Variante hinzufügen“ klicken
4. Einen überflüssigen Test können Sie löschen, indem Sie im Tests-Reiter den entsprechenden Test auswählen und dann auf das Mülleimer-Icon im aktiven Reiter klicken.

Demo-Fragebogen zum Kopieren in eigenen Account

Testen Sie die Funktionsweise von A/B-Tests in QUESTIONSTAR live. Rufen Sie dafür
🔗 diesen Link auf.

✔ Klicken Sie in der Umfrage auf „Diese Umfrage in mein Nutzerkonto übernehmen“, um sie in Ihren Account zu kopieren.
Dann können Sie sich die Details der Einrichtung von A/B-Tests im Inetrface von QUESTIONSTAR in Ruhe anschauen.