A/B Tests

Was sind A/B Tests? Wozu werden sie genutzt? Wer kann sie nutzen? Was ist dabei zu beachten? All das sind die Fragen, die gestellt werden, sobald die A/B Tests bzw. das A/B testing zur Sprache kommt. Im Verlauf werden diese Fragen beantwortet, das A/B Testing erläutert und Faktoren genannt was es zu beachten gilt. 

A/B Tests sind eine Methode des Online- Marketings die zwei oder mehr Varianten einer Webseite oder App miteinander vergleicht, um heraus zu finden welche besser performt. Die Varianten werden mit aufeinanderfolgenden Buchstaben benannt. Die Nutzer werden durch das Zufallsprinzip einer der Varianten zugewiesen. Bei einem A/B Test mit zwei Varianten, wird 50 Prozent der Nutzer die Variante A zugewiesen und die anderen 50 Prozent werden zu Variante B weitergeleitet. Mithilfe von statistischen Analysen wird der Nutzen der Varianten für verschiedenste Kennzahlen, wie die conversion rate oder dem Web Traffic, gemessen. Durch die Nutzung von A/B Tests soll herausgefunden werden, welche Variante die Besucher der Webseite mehr anspricht um eine conversion Optimierung zu erzielen.

Conversion (dt. Konversion, Umwandlung) ist im Kontext mit Online-Marketing als Modifizierung von Web-Seiten-Besuchern zu Kunden oder zumindest registrierten Nutzern zu verstehen. Daher ist die conversion rate der Anteil an Besuchern, die zu Käufern oder angemeldeten Nutzern werden. Wenn sich von 1000 Besuchern einer Webseite 52 Personen zu einem Kauf oder einer festgelegten Aktion entscheiden, ist die entsprechende conversion Rate bei 5,2 Prozent. Um das Verhältnis zwischen Besuchern und Käufern ermitteln zu können, müssen mit Hilfe eines „Unique Visitor“ die Besucher und nicht die Klicks einer Webseite gezählt werden. (vgl. 1)

Der Begriff `Web Traffic´ beschreibt den Datenverkehr der entsteht, wenn ein Nutzer eine Webseite öffnet. Hierzu zählen von dem Nutzer gesendete und empfangene Daten. Daher ist der Web Traffic der größte Teil des Internet Traffic. Das Ausmaß des Web Traffic einer Seite wird oft als Kennzahl für die Betriebsamkeit der Webseite herangezogen.  (vgl. 2)

Schon lange bevor es das Internet gab wurden verschiedene Varianten miteinander verglichen, um das effizienteste Produkt zu diagnostizieren. Nach der Erfindung des Internet war es nur eine Frage der Zeit bis diese Methodik auch dort genutzt wird, da es eine schnelle und einfache Art der Datengewinnung ist. In den Anfängen der A/B Test konnten diese nur Mithilfe von IT-Experten erstellt und umgesetzt werden.

Durch den technologischen Fortschritt und die zunehmende Digitalisierung entstanden Web-Tools die eine Erstellung von A/B Test deutlich vereinfachen. Für komplexere Tools und Änderungen an der Webseite, wird eine Person mit Fachkenntnissen benötigt, die eine Bearbeitung an dem Quellcode der Webseite vornehmen kann.

Andere Tools hingegen benötigen keinerlei technische Vorkenntnisse, wodurch sie das Erstellen von A/B Test durch jedermann ermöglichen. In solchen Fällen überarbeitet der Tool-Nutzer seine Homepage mittels WYSIWYG (What You See Is What You Get) -Editors selbst, diese Programme fördern ein rasches Einarbeiten und somit das eigenständige arbeiten.

Da A/B Test durch die Vielzahl an Tools und ihrer Möglichkeiten sowohl extern als auch intern Erstellt werden können, ist die Wahl der richtigen Testing Lösung ein wichtiger Schritt zur Gewinnung aussagekräftiger Daten.

Externe Dienstleister können mit einer Beratung zur conversion Optimierung, der Erstellung und Bearbeitung von Grafiken oder Texten zusätzlichen Nutzen für die Webseite generieren. Bei der Wahl müssen aber Faktoren wie Kosten ( z.B. höhere Kosten durch Auslagerung des Tests) und Personalressourcen (z.B. stehen Mitarbeiter für diese Aufgabe zur Verfügung) ebenfalls berücksichtigt werden.

Die Art der betriebenen Webseite ist für ein A/B Test irrelevant, da jede Webseite einen Nutzen aus solchen Tests ziehen kann. Jede Webseite hat das Ziel ihre Conversion Rate zu erhöhen, wofür der A/B Test durchaus eine effektive Methode darstellt. Jedoch ist das Durchführen von A/B Tests gerade für kleinere Unternehmen nicht immer die beste Lösung zur conversion Optimierung, da es nicht nur mit ein paar Tests abgehandelt ist und somit langfristig Kosten entstehen.

Für eine gute und langlebige conversion Optimierung ist ein dauerhaftes Testing notwendig. Die erhaltenen Ergebnisse sollten gründlich analysiert werden, um so Schlüsse auf das Verhalten der Nutzer zu ziehen. So erhält man die Basis für neue Tests, um einen kontinuierlichen Erfolg aus den A/B Tests zu generieren.

Web-Seiten mit einem geringen Web Traffic können Probleme mit dem A/B Testing haben, da die gewonnen Daten eine hohe Signifikanz aufweisen müssen, damit sie als Grundlage für Entscheidungen fungieren können. Gerade bei Webseiten mit einem geringen Web Traffic können A/B Tests sehr langwierig sein, bis das gewünschte Signifikanzniveau erreicht ist. Aufgrund dieser Situation kommt es bei Traffic-armen Seiten häufig zu Abbrüchen der A/B Test.

Viele Online-Händler versuchen den Gewinn durch die Erhöhung des Web Traffic zu maximieren und vernachlässigen dabei die Conversion Optimierung. Web Traffic zu generieren wird durch die Vielzahl an Online-Händlern immer schwerer und ist durch die steigenden Akquisitionskosten ein kostspieliges und nicht zwingend zielführendes Unterfangen.

Trotz der steigenden Kosten und Widrigkeiten bei der Gewinnung von Web Traffic wird der conversion Optimierung bislang zu wenig Aufmerksamkeit entgegengebracht. Dabei liegt die conversion Rate im Schnitt nur zwischen 1 bis 3 % . Trotz der niedrigen conversion Rate, wenden die meisten Unternehmen nur etwa 1 % ihrer Einnahmen für die conversion Optimierung auf. (vgl. S. 6,  A/B testing 1mal1, AB Tasty)

Das Nutzen des vorhandenen Traffic zur Erhöhung der conversion Rate ist mit einer strategischen Planung und kontinuierlich durchgeführten Tests verbunden und somit nicht so attraktiv wie die kurzfristigen Aktionen zur Traffic Steigerung. Der erste Schritt zu einem erfolgreichen A/B Test ist das Erstellen starker Hypothesen. Für starke Hypothesen ist es notwendig das Problem bereits identifiziert zu haben und die Ursache des Problems zu erahnen.

Die Lösung und das erwartete Ergebnis sind weitere wichtige Punkte einer zu überprüfenden Hypothese. Häufig entstehen schlechte oder gar unbrauchbare Ergebnisse durch A/B Test, da die Relevanz der getesteten Elemente für die conversion falsch eingeschätzt oder der Test überstürzt wurde.

In solchen Fällen war die Herangehensweise noch nicht ausgereift oder die Hypothese schlecht. Nach der erfolgreichen Erstellung der Testhypothesen folgt die Priorisierung eben dieser, um eine strategisch gut geplante Reihenfolge der Test festzulegen. Dies wird auch als Erstellen einer Roadmap/ eines Fahrplans bezeichnet. Zuerst sollten jener Test durchgeführt werden, der zur conversion Optimierung einer Webseite mit hohem Traffic aber geringer conversion Rate führen kann.

Nach der Formulierung der Roadmap geht es an die Durchführung der Tests. Die Durchführung ist stark von den Entscheidungen des Unternehmens abhängig, welche Tools und Methoden zur Umsetzung herangezogen werden. Wie bereits erwähnt können die A/B Test sowohl intern als auch extern umgesetzt werden, durch die Vielfalt an Tools sogar ohne fachliches Know-how. Sobald die Tests abgeschlossen sind und ein Signifikanzniveau von 95 % erreicht ist, geht es mit der Analyse der Ergebnisse weiter.

Ein gutes Testtool bietet hier einen zusammenfassenden Bericht, sowie einen Überblick der getesteten Faktoren der verschiedenen Varianten im Verhältnis zur Originalseite. Mittels weiterführender Analysetechniken können die gewonnenen Daten noch präzisiert werden. Dies ist zum Beispiel für die Identifikation der Besucher einer Web-Seite nützlich. Es ermöglicht eine Einordnung der Besucher in verschiedene Zielgruppen (z.B. Alter, Herkunft, Geschlecht), denn so kann das Unternehmen Werbemaßnahmen auf eine bestimmte Zielgruppe ausrichten.

Im Anschluss ist die richtige Dokumentation der Tests und Analysen sehr wichtig, da meist mehr als eine Person an den Durchführungen beteiligt ist. Nur durch eine gute Niederschrift aller testrelevanten Faktoren und Ergebnissen ist ein problemloses Einarbeiten jederzeit möglich. Des weiteren ist eine gründliche Dokumentation hilfreich bei der Erstellung neuer Hypothesen für die Folgetests.

Sind die Tests, Analysen und Dokumentationen abgeschlossen, gilt es nur noch die Variante mit der besten Performance auf der Webseite zu integrieren und die Ergebnisse unternehmensintern zu verbreiten, da die verschiedensten Bereiche einen Nutzen aus den gewonnenen Daten ziehen können. Wenn alle diese Punkte der To-do-Liste abgehakt sind kann der Kreislauf von neuem beginnen, denn nach dem Test ist bekanntlich vor dem Test.

Abschließen kann über das A/B Testing gesagt werden, dass es eine Online-Marketing Methode zur conversion Optimierung ist, bei der mehrere Varianten einer Webseite oder App miteinander verglichen werden um heraus zu finden, welche die Beste ist. Diese Marketing Methode kann von jedem Unternehmen genutzt werden, ist jedoch für Webseiten mit geringem Traffic und Unternehmen mit nur begrenzten finanziellen Mitteln nicht die beste Alternative zur conversion Optimierung.

Zur Erstellung von A/B Tests bedarf es Änderungen an der Originalseite oder App, welche je nach Komplexität der Veränderung, dem genutzten Tool und der Personalressourcen intern oder extern ausgeführt werden kann.

Die Wahl der Testing Methode (intern oder extern) sowie des Tools sind Faktoren, die das Ergebnis stark beeinflussen können, daher ist es wichtig hier mit bedacht zu wählen. Sind diese Entscheidungen getroffen und eine starke Hypothese erstellt kann es auch schon losgehen.

Zuerst müssen die Tests ihrer Wichtigkeit nach sortiert und eine Roadmap erstellt werden die eine Reihenfolge für alles A/B Test vorgibt. Im Anschluss an die Erstellung der Roadmap kann es auch schon mit der eigentlichen Testdurchführung weiter gehen. Hier ist die Dauer ein entscheidender Faktor, Test die zu lange benötigen um das Signifikanzniveau zu erreichen, sind in der Regel nicht aussagekräftig und somit keine Basis für anstehende Entscheidungen.

In solchen Fällen ist ein Abbruch ratsam. Eine Überprüfung der Hypothese sollte die Folge daraus sein. Wurde die Durchführung des Tests nach Erreichen des Signifikanzniveaus beendet steht die Analyse der Daten an. Hier kann die Wahl des Tools Vorteile mit sich bringen, da die Tools verschiedene Faktoren in ihren Endberichten wiedergeben. Eine Verfeinerung der der gehaltenen Daten durch weitergehende Analysen kann für viele Bereiche des Unternehmens wertvolle Daten ergeben und ist somit ratsam.

Zu guter Letzt fehlt nur noch die Implementierung der besten Variante, um die conversion Optimierung dauerhaft zu nutzen. Zu beachten ist jedoch, dass die conversion Optimierung ein dauerhaftes Testing benötigt, da durch jeden A/B Test weitere Hypothesen zur Verbesserung der Conversion entdeckt werden und nur durch viele kleine A/B Test Erfolge ein großes Ziel erreicht werden kann.

 

Autor:
Fabienne Praetorius

 

Literatur:

1. https://onlinemarketing.de/lexikon/definition-conversion-conversionrate Zugriff: 05.01.2021
2. https://onlinemarketing.de/lexikon/definition-traffic Zugriff: 03.01.2021
3. https://conversionboosting.com/article/ab-tests-sind-ein-hype-und-manchmal-ein-flop_20689/ Zugriff:08.01.2021
4. https://www.businessinsider.de/gruenderszene/lexikon/begriffe/ab-test/ Zugriff: 10.01.2021
5. https://www.abtasty.com/de/ab-testing/ Zugriff: 01.01.2021
6. E-Book: A/B Testing 1mal1von AB Tasty
   https://www.abtasty.com/de/resources/ab-testing-1mal1/