Welcher statistische Test passt? In vier Fragen zum richtigen Verfahren

Unterschied, Zusammenhang oder Veränderung? In vier Fragen zum passenden statistischen Test: Entscheidungsweg, Übersicht mit 14 Fällen und Rechenbeispiele.

Kurz gesagt: Welcher Test passt, ergibt sich aus vier Angaben. Erstens, was Sie wissen wollen: einen Unterschied zwischen Gruppen, einen Zusammenhang zwischen zwei Merkmalen, eine Veränderung bei denselben Personen oder die Genauigkeit eines einzelnen Werts. Zweitens das Skalenniveau Ihrer Variablen: Kategorien, Rangstufen oder Zahlen mit gleichen Abständen. Drittens die Zahl der Gruppen. Viertens, ob die Gruppen unabhängig sind, also aus verschiedenen Personen bestehen, deren Antworten nicht zusammengehören, oder verbunden, also zwei Messungen derselben Personen enthalten (Malhotra und Birks 2007, S. 493, 525-526). Für die häufigsten Fälle in Umfragen heißt das: Zwei Mittelwerte vergleicht der passende t-Test, Häufigkeiten in Kategorien bei unabhängigen Gruppen der Chi-Quadrat-Test in der Kreuztabelle, den Zusammenhang zweier Messgrößen prüft die Korrelation.

Dieser Beitrag ist ein Wegweiser. Er führt Sie zum passenden Verfahren und von dort zum Artikel, der es Schritt für Schritt erklärt. Der Reihe nach:

1. Wozu überhaupt ein Test?
2. Welche vier Angaben entscheiden über den Test?
3. Welcher Test gehört zu welchen Daten? Die Übersicht
4. Wie sieht das an Beispielen aus?
5. Was muss ich prüfen, bevor ich überhaupt teste?
6. Was rechnet QUESTIONSTAR selbst, und wie rechne ich den Rest?

Die typische Lage: Die Befragung ist abgeschlossen, der Bericht zeigt Mittelwerte und Prozentwerte je Standort, und jemand fragt, ob die Unterschiede „echt“ sind. Von den Dutzenden Verfahren eines Statistikprogramms genügt dafür meist eine Handvoll. Die Beispiele stammen von einem erfundenen Weiterbildungsanbieter mit Standorten in Hamburg, Köln und München. Alle Zahlen sind ausgedacht und bewusst klein gehalten.

Wozu überhaupt ein Test?

Im Bericht steht: Zufriedenheit in Hamburg 4,06, in Köln 3,54, auf einer Skala von 1 bis 5. Hamburg liegt vorn, das sieht man ohne jede Rechnung. Warum genügt das nicht?

Werfen Sie eine Münze zehnmal. Genau fünfmal Kopf und fünfmal Zahl kommt dabei nur in etwa einer von vier solchen Reihen heraus. In den anderen drei liegt eine Seite vorn, obwohl mit der Münze alles in Ordnung ist. Sechsmal Kopf überrascht deshalb niemanden. Zehnmal Kopf ist etwas anderes: Dass eine normale Münze zehnmal dieselbe Seite zeigt, kommt nur in etwa 2 von 1.000 solchen Reihen vor. Unmöglich ist das nicht. Aber wer es sieht, zweifelt an der Münze.

Mit Umfragedaten ist es ähnlich. Befragt wurden an jedem Standort nur zwölf Personen. Zwölf andere hätten etwas anders geantwortet, und der Mittelwert wäre ein anderer gewesen. Ein Unterschied zwischen zwei Gruppen entsteht also auch dann, wenn die Kundinnen und Kunden beider Standorte in Wahrheit gleich zufrieden sind, so wie bei der normalen Münze meist eine Seite vorn liegt. Dass Hamburg vorn liegt, beweist deshalb noch nichts. Die Frage ist eine andere: Ist der Unterschied größer, als der Zufall allein ihn üblicherweise hervorbringt? Gleicht er eher dem „sechsmal Kopf“ oder eher dem „zehnmal Kopf“?

Genau das rechnet ein statistischer Test aus. Er nimmt zunächst an, dass es in Wahrheit keinen Unterschied gibt, so wie Sie zunächst von einer normalen Münze ausgehen. Dann bestimmt er, wie wahrscheinlich unter dieser Annahme ein mindestens so großer Unterschied wäre, allein durch Zufall. Diese Wahrscheinlichkeit heißt p-Wert.

• Ist der p-Wert klein, wie bei den zehn Köpfen, passt die Annahme „kein Unterschied“ schlecht zu den Daten. Sie zweifeln an ihr, so wie an der Münze.
• Ist der p-Wert groß, wie bei den sechs Köpfen, kann der Unterschied gut Zufall sein. Bewiesen ist damit nicht, dass die Standorte gleich sind: Auch eine leicht ungleiche Münze zeigt oft nur sechsmal Kopf. Die Daten reichen dann nur nicht aus, um einen Unterschied zu belegen.

Wo „klein“ beginnt, legen Sie vor der Auswertung fest. Üblich ist die Grenze 0,05, also 5 von 100 (Schumann 2019, S. 206). Liegt der p-Wert darunter, heißt das Ergebnis „statistisch signifikant“.

In einem Punkt haben Sie es mit Umfragedaten schwerer als mit der Münze. Bei der Münze steht fest, was der Zufall üblicherweise hervorbringt. Bei Umfragedaten muss der Test das erst aus Ihren Daten ermitteln: daraus, wie viele Personen geantwortet haben und wie unterschiedlich ihre Antworten sind. Wie das geht, hängt von den Daten ab. Mit Mittelwerten rechnet man anders als mit Anteilen, mit zwei Gruppen anders als mit drei, mit denselben Personen anders als mit verschiedenen. Deshalb gibt es nicht einen Test, sondern viele.

Kurz gesagt: Jeder statistische Test beantwortet dieselbe Frage: Ließe sich das Ergebnis auch mit bloßem Zufall erklären? Die Antwort ist der p-Wert. Ein kleiner p-Wert spricht gegen bloßen Zufall, ein großer lässt die Frage offen. Ob ein Unterschied groß genug ist, um wichtig zu sein, sagt der Test nicht. Mehr zum p-Wert und zu seinen Grenzen steht im Beitrag p-Wert und Signifikanz. Welcher Test zu Ihren Daten gehört, ergibt sich aus vier Angaben.

Welche vier Angaben entscheiden über den Test?

In meinem Kurs „Grundlagen der Umfrageforschung“ ist die Wahl der Teststatistik der dritte von fünf Schritten eines Hypothesentests (Folie 185). Davor steht die Frage, die Sie beantworten wollen.

1. Was wollen Sie wissen? In Umfragen sind es fast immer diese Fragen:

• Unterschied: Sind Kundinnen und Kunden in Hamburg zufriedener als in Köln?
• Zusammenhang: Hängt die Weiterempfehlung mit der Dauer der Kundenbeziehung zusammen?
• Veränderung: Schätzen dieselben Personen ihr Können nach dem Seminar höher ein als davor?
• Genauigkeit eines einzelnen Werts: Wie genau sind „65 % würden wieder buchen“?

2. Welches Skalenniveau haben die Variablen? Entscheidend ist, ob eine Variable Kategorien abbildet (nominal: Standort, Format, ja/nein), eine Reihenfolge (ordinal: eine einzelne Frage mit fünf Antwortstufen) oder Zahlen mit gleichen Abständen (metrisch: Alter, Dauer, ein als metrisch behandelter Mittelwert aus mehreren Skalenfragen). Tests, die mit Mittelwerten rechnen, wie der t-Test, setzen metrische Variablen voraus (parametrische Tests). Tests, die nur Häufigkeiten oder Rangplätze brauchen, kommen mit nominalen oder ordinalen Daten aus (nicht-parametrische Tests) (Malhotra und Birks 2007, S. 525). Wie Sie das Niveau einer Frage bestimmen und warum einzelne Likert-Fragen ein Streitfall sind, steht im Beitrag Skalenniveau.

3. Wie viele Gruppen vergleichen Sie? Eine, zwei oder mehr. Dabei zählt, wie Sie die Daten für die Analyse aufteilen, nicht, wie Sie sie erhoben haben. Frauen und Männer aus derselben Befragung sind für den Vergleich zwei Stichproben (Malhotra und Birks 2007, S. 493).

4. Sind die Gruppen unabhängig oder verbunden? Unabhängig sind Stichproben, wenn in jeder Gruppe andere Personen stehen und ihre Antworten nicht zusammengehören, weder zwischen den Gruppen noch innerhalb einer Gruppe. So ist es bei einzeln befragten Kundinnen und Kunden in Hamburg und Köln. Verschiedene Personen allein genügen dafür nicht: Antworten etwa Ehepaare oder mehrere Mitglieder derselben Teams, gehören ihre Antworten zusammen, und die Auswertung muss das berücksichtigen. Verbunden sind sie, wenn beide Messungen von denselben Befragten stammen: dieselben Personen vor und nach dem Seminar, oder dieselben Personen bewerten zwei Angebote (Malhotra und Birks 2007, S. 525, 531). Die Probe für Ihre Daten: Können Sie neben jede Antwort der einen Reihe die Antwort derselben Person aus der anderen Reihe legen? Dann sind die Daten verbunden, und Sie brauchen einen Test, der mit diesen Paaren rechnet. Warum das so ist und was sonst schiefgeht, zeigt der Abschnitt Dieselben Personen antworten zweimal.

Das folgende Diagramm übersetzt diese Angaben in sechs Ja/Nein-Fragen.

Der Weg führt zum üblichen Verfahren, nicht zum einzig möglichen. Wer bei den Annahmen vorsichtig sein will, wählt die Variante mit den schwächeren Voraussetzungen (Malhotra und Birks 2007, S. 492).

Welcher Test für welche Daten? Die Übersicht

Die Tabelle fasst den Entscheidungsweg zusammen. Die Spalte „So rechnen Sie es“ nennt für jedes Verfahren einen Weg, der mit Ihren Daten sicher funktioniert: den Bericht in QUESTIONSTAR oder die Rechnung mit exportierten Daten und einem KI-Assistenten. Wie der zweite Weg geht, steht weiter unten.

Eigene Darstellung nach Malhotra und Birks 2007, S. 494 (Figure 17.4), S. 526 (Figure 18.9) und S. 536 (Table 18.19). Die Tabelle der Teststatistiken im Lehrbuch (Marx 2026, Folie 192) folgt derselben Ordnung. Die Folie liest ihr Beispiel als eine Stichprobe mit zwei Merkmalen, dieser Beitrag als Vergleich zweier Gruppen. Gerechnet wird in beiden Fällen derselbe Chi-Quadrat-Test. Spalte „So rechnen Sie es“: Stand November 2026.

Welcher Test für zwei Gruppen?

Mittelwerte: der t-Test für unabhängige Stichproben

• Wann: Zwei Gruppen mit verschiedenen Personen, eine metrisch behandelte Variable, Frage nach dem Unterschied der Mittelwerte (Malhotra und Birks 2007, S. 525, 528).
• Annahme: Unabhängige Beobachtungen, annähernd normalverteilte Werte oder genügend große Gruppen, ähnliche Streuung in beiden Gruppen (Malhotra und Birks 2007, S. 527, 529). Bei ungleicher Streuung nehmen Sie die Variante nach Welch, siehe Der t-Test.
• Typischer Fehler: Verbundene Daten als unabhängig behandeln, oder bei drei und mehr Gruppen alle Paare einzeln testen.

Beispiel. Die Gesamtzufriedenheit wird als Mittelwert aus vier Fragen gebildet, jede mit fünf Stufen von „sehr unzufrieden“ (1) bis „sehr zufrieden“ (5). Je zwölf Personen aus Hamburg und Köln haben geantwortet.

Die Differenz beträgt 0,52 Skalenpunkte. Der t-Test ergibt t = 2,90 bei 22 Freiheitsgraden, p = 0,008. So lesen Sie die drei Angaben:

• t = 2,90: Die Differenz ist knapp dreimal so groß wie die Schwankung, mit der bei zweimal zwölf Befragten allein durch Zufall zu rechnen ist. Das ist der Maßstab aus dem Münzwurf: was der Zufall üblicherweise hervorbringt. Je weiter t von null entfernt ist, desto schlechter passt der Unterschied zu bloßem Zufall.
• 22 Freiheitsgrade: eine Angabe zur Datenmenge. Steht der Mittelwert von zwölf Antworten fest, sind nur elf Antworten frei, die zwölfte ergibt sich aus ihnen. Bei zwei Gruppen sind es 11 + 11 = 22. Die Zahl gehört in den Bericht, weil der p-Wert von ihr abhängt: Dasselbe t überzeugt bei wenigen Antworten weniger als bei vielen.
• p = 0,008: Wären beide Standorte in Wahrheit gleich, käme eine so große oder größere Differenz in weniger als einer von hundert solchen Stichproben vor. Das liegt unter der üblichen Grenze von 0,05, der Unterschied ist also statistisch signifikant.

Das 95-%-Konfidenzintervall der Differenz reicht von 0,15 bis 0,89. Es zeigt, wie ungenau die 0,52 bei so wenigen Befragten sind: Der wahre Vorsprung Hamburgs kann klein sein oder groß. Die Null, also kein Unterschied, liegt nicht im Intervall. Wie t, Freiheitsgrade und die Effektstärke Cohens d berechnet werden, zeigt der Beitrag Der t-Test.

Die späteren Beispiele nennen diese Angaben nur noch in einer Zeile. Andere Tests geben statt t eine andere Prüfgröße aus, etwa χ², U oder F. Welche Werte für einen Unterschied sprechen, hängt vom Test ab und steht beim jeweiligen Beispiel. Der p-Wert wird immer gleich gelesen: Er sagt, wie wahrscheinlich ein mindestens so deutliches Ergebnis wäre, wenn es in Wahrheit keinen Unterschied gäbe.

Anteile: die Kreuztabelle mit Chi-Quadrat-Test

• Wann: Sie vergleichen zwischen Gruppen keinen Mittelwert, sondern einen Anteil oder eine Verteilung über Kategorien: Wie viele würden wieder buchen, welches Format wird bevorzugt? Jede Person steht genau einmal in der Tabelle.
• Typischer Fehler: Mit Prozentwerten statt mit Häufigkeiten rechnen, oder aus einem signifikanten Ergebnis auf einen starken Zusammenhang schließen. Wie stark der Zusammenhang ist, sagt der Test nicht (Schumann 2019, S. 209).

Der Vergleich zweier Anteile und der Zusammenhang zweier kategorialer Merkmale sind derselbe Test, nur anders gefragt. Statt eines eigenen Tests für zwei Anteile können Sie eine Kreuztabelle mit zwei Zeilen und zwei Spalten aufstellen und den Chi-Quadrat-Test rechnen (Malhotra und Birks 2007, S. 534). Die erwarteten Häufigkeiten müssen dafür groß genug sein (Schumann 2019, S. 206). Sind sie in einer 2 × 2-Tabelle zu klein, nehmen Sie den exakten Test nach Fisher. Der Rechner im Beitrag Kreuztabelle zeigt ihn in diesem Fall an.

Rangstufen: der Mann-Whitney-U-Test

• Wann: Zwei unabhängige Gruppen, die Variable ist ordinal, etwa eine einzelne Frage mit fünf Antwortstufen, die Sie nicht als metrisch behandeln wollen (Malhotra und Birks 2007, S. 534). Auch bei kleinen Gruppen mit sehr schiefer Verteilung ist er die übliche Alternative zum t-Test (siehe Der t-Test).
• Was das Ergebnis sagt: Alle Antworten werden gemeinsam in eine Rangfolge gebracht. Der Test prüft, ob die Werte der einen Gruppe darin tendenziell höher liegen als die der anderen (Malhotra und Birks 2007, S. 534).
• Typischer Fehler: Ihn als Test auf gleiche Mediane lesen. Das ist er im Allgemeinen nicht (Divine et al. 2018, S. 278). Berichten Sie deshalb die Verteilung der Antworten, nicht nur zwei Mediane.

Welcher Test bei mehr als zwei Gruppen?

• Wann: Drei oder mehr unabhängige Gruppen, etwa drei Standorte oder vier Altersgruppen. Für metrische Variablen ist die einfaktorielle Varianzanalyse (ANOVA) das Standardverfahren, für ordinale der Kruskal-Wallis-Test, eine Erweiterung des Mann-Whitney-U-Tests (Malhotra und Birks 2007, S. 546, 565). Für Anteile und Kategorien bleibt es beim Chi-Quadrat-Test in der Kreuztabelle.
• Annahme: Für die ANOVA gelten die Voraussetzungen des t-Tests für unabhängige Stichproben. Der Kruskal-Wallis-Test braucht unabhängige Beobachtungen und mindestens ordinale Daten.
• Was das Ergebnis sagt: Ob sich die Gruppen insgesamt unterscheiden. Welche Gruppe von welcher abweicht, sagt der Gesamttest nicht. Dafür gibt es vorab geplante Kontraste oder nachträgliche paarweise Vergleiche mit Korrektur (Malhotra und Birks 2007, S. 564).
• Typischer Fehler: Statt eines Gesamttests alle Paare einzeln mit t-Tests prüfen und nur die signifikanten berichten. Wären alle Gruppen in Wahrheit gleich und die Tests unabhängig, läge die Wahrscheinlichkeit für mindestens einen Zufallstreffer bei drei Tests schon bei 14,3 % statt bei 5 % (siehe Viele Tests, viele Zufallstreffer).

Welcher Test, wenn dieselben Personen zweimal antworten?

Zehn Personen machen eine Diät, und Sie wollen wissen, ob sie wirkt. Sie stellen alle zehn vorher und nachher auf die Waage. Die Personen sind sehr verschieden: Die leichteste wiegt 60 Kilo, die schwerste 110. Nach der Diät wiegt jede ein bis drei Kilo weniger.

Vergleichen Sie nur die beiden Durchschnitte, sehen Sie gut zwei Kilo Unterschied. Das ist wenig gegenüber den 50 Kilo, die zwischen den Personen liegen. Wären es zwei verschiedene Gruppen von je zehn Leuten, könnte ein solcher Unterschied leicht daher kommen, dass in der einen Gruppe zufällig ein paar schwerere Menschen stehen. Es sind aber dieselben Personen. Deshalb können Sie anders rechnen: Sie vergleichen jede Person mit sich selbst und notieren, wie viel sie abgenommen hat. Ob jemand 60 oder 110 Kilo wiegt, spielt dann keine Rolle mehr. Dieses Gewicht steckt im Vorher wie im Nachher und fällt beim Abziehen weg. Übrig bleiben zehn Differenzen, und alle zeigen in dieselbe Richtung. So wird sichtbar, was im Vergleich der Durchschnitte untergeht.

Mit Umfragedaten ist es ähnlich. Auch Befragte sind verschieden: Die eine schätzt ihr Können grundsätzlich hoch ein, der andere grundsätzlich niedrig. Antworten dieselben Personen zweimal, etwa vor und nach einem Seminar, steckt diese Eigenart in beiden Antworten. Ein Test für verbundene Daten rechnet deshalb wie an der Waage: Er bildet für jede Person die Differenz ihrer beiden Antworten und prüft nur noch diese Differenzen. Jede Person ist ihr eigener Vergleich. Was ihre beiden Antworten gleichermaßen höher oder niedriger ausfallen lässt, fällt beim Abziehen weg. Übrig bleibt, wie stark sich jede Person verändert hat, und das kann von Person zu Person verschieden sein.

Verbunden sind Daten, wenn jede Messung der einen Reihe genau einer Messung der anderen zugeordnet werden kann: dieselben Personen vor und nach einem Seminar, dieselben Personen bewerten zwei Marken oder zwei Merkmale eines Produkts (Malhotra und Birks 2007, S. 531). Dafür brauchen Sie in beiden Messungen einen Schlüssel, der die Antworten einer Person verbindet.

Zwei Verwechslungen sind möglich:

• Verbundene Daten wie zwei getrennte Gruppen testen. Der Test für unabhängige Gruppen weiß nichts von den Paaren. Er misst die Veränderung an den Unterschieden zwischen den Personen, so wie die zwei Kilo an den 50 Kilo. Weil dieselbe Person beim zweiten Mal meist ähnlich antwortet wie beim ersten, wirkt die Veränderung dann unsicherer, als sie ist, und eine echte Veränderung bleibt leichter unentdeckt. Das Beispiel unten zeigt es in Zahlen.
• Getrennte Gruppen wie verbundene Daten behandeln. Eine jährliche Kundenbefragung mit jeweils neu gezogenen Befragten ist keine verbundene Stichprobe, auch wenn es um „Veränderung“ geht. Hier gibt es keine Paare: Niemand lässt sich mit sich selbst vergleichen. Wer die Zeilen trotzdem zu Paaren zusammenlegt, rechnet mit einer Zuordnung, die nichts bedeutet. Dort vergleichen Sie zwei unabhängige Gruppen, wie im Beispiel Ist die Zufriedenheit gestiegen?.

Kurz gesagt: Unabhängig heißt, in den Gruppen stehen verschiedene Personen, deren Antworten nicht zusammengehören, und der Test vergleicht Gruppe mit Gruppe. Verbunden heißt, dieselben Personen wurden zweimal gemessen, und der Test vergleicht jede Person mit sich selbst. Wer verbundene Daten wie zwei Gruppen testet, verschenkt diesen Vorteil und übersieht eine Veränderung leichter.

Die folgenden Verfahren gelten für genau zwei Messungen. Bei drei oder mehr Messungen derselben Personen, etwa drei Befragungswellen oder drei Zeilen einer Matrixfrage, reichen sie nicht. Für metrische Variablen gibt es dafür die Varianzanalyse mit Messwiederholung (Malhotra und Birks 2007, S. 564). Für ordinale Daten nennen Malhotra und Birks (2007, S. 338) die Rangvarianzanalyse nach Friedman, ohne sie näher zu beschreiben. Beides rechnen Sie mit exportierten Daten in einem Statistikprogramm. Dieser Beitrag behandelt diese Verfahren nicht.

Mittelwerte: der gepaarte t-Test

• Wann: Dieselben Personen, zwei Messungen, metrisch behandelte Variable.
• Annahme: Die Differenzen je Person sind annähernd normalverteilt, oder es sind genügend Paare. Die Paare untereinander sind unabhängig.
• Was das Ergebnis sagt: Der Test rechnet für jede Person die Differenz und prüft, ob deren Mittelwert von null abweicht (Malhotra und Birks 2007, S. 531).
• Typischer Fehler: Die beiden Messreihen wie zwei unabhängige Gruppen testen. Was das kostet, zeigt das Beispiel.

Und für den Bericht: Ein Vorher-Nachher-Vergleich ohne Kontrollgruppe zeigt, dass sich etwas verändert hat, nicht warum.

Rangstufen und Ja/Nein: Wilcoxon-Test und McNemar-Test

• Wann: Dieselben Personen, zwei Messungen, ordinale Variable oder Zweifel an der Normalverteilung der Differenzen, sofern die unten genannte Annahme erfüllt ist. Der Wilcoxon-Test ist das Gegenstück zum gepaarten t-Test (Malhotra und Birks 2007, S. 535).
• Was das Ergebnis sagt: Der Test bildet Ränge der Differenzen je Person und vergleicht die Rangsummen der positiven und der negativen Veränderungen (Malhotra und Birks 2007, S. 535).
• Annahme: Der Test berücksichtigt die Größe der Differenzen, nicht nur ihre Richtung (Malhotra und Birks 2007, S. 535). Die Beträge der Differenzen müssen sich also sinnvoll der Größe nach ordnen lassen. Bei einer einzelnen Frage mit Antwortstufen heißt das: Sie behandeln eine Veränderung um zwei Stufen als größer als eine um eine Stufe, gleich an welcher Stelle der Skala. Wer das nicht annehmen will, zählt nur die Richtung der Veränderung (Vorzeichentest, Malhotra und Birks 2007, S. 536).
• Typischer Fehler: Übersehen, dass Paare ohne Veränderung üblicherweise aus der Rechnung fallen. Bei vielen unveränderten Antworten schrumpft die Fallzahl.

Geht es bei denselben Personen um einen Ja/Nein-Anteil, etwa „kennt das Angebot“ vor und nach einer Kampagne, ist der McNemar-Test das passende Verfahren (Malhotra und Birks 2007, S. 536). Eine gewöhnliche Kreuztabelle „vorher mal nachher“ mit Chi-Quadrat-Test beantwortet diese Frage nicht: Sie prüft, ob die beiden Messungen zusammenhängen, nicht, ob sich der Anteil verändert hat.

Welcher Test prüft einen Zusammenhang?

Bei Zusammenhangsfragen vergleichen Sie keine Gruppen, sondern betrachten zwei Merkmale derselben Personen. Welches Maß passt, hängt vom Skalenniveau beider Merkmale ab (Schumann 2019, S. 239).

Zwei kategoriale Merkmale: Kreuztabelle und Chi-Quadrat-Test

Hier gilt ebenfalls das Vorgehen aus dem Abschnitt Anteile, auch bei mehr als zwei Kategorien. Der Test prüft, ob ein Zusammenhang besteht, Maße wie Phi oder Cramérs V zeigen, wie stark er ist (Schumann 2019, S. 209, 212-213). Ist eines der Merkmale ordinal, nutzt der Chi-Quadrat-Test die Reihenfolge nicht. Alles Weitere steht im Beitrag Kreuztabelle.

Zwei Rangmerkmale oder zwei Messgrößen: die Korrelation

• Wann: Beide Merkmale sind Zahlen oder Rangstufen, und Sie fragen „je mehr, desto mehr (oder weniger)?“. Sind beide metrisch, nehmen Sie die Korrelation nach Pearson. Ist mindestens eines ordinal, nehmen Sie die Rangkorrelation nach Spearman. Fallen sehr viele Antworten auf dieselben Werte, gilt Kendalls Tau als Alternative (Malhotra und Birks 2007, S. 575, 581).
• Annahme: Pearson misst nur lineare Zusammenhänge. Die Rangkorrelation arbeitet mit Rangplätzen und erfasst auch gleichgerichtete Zusammenhänge, die nicht linear sind.
• Typischer Fehler: Aus einer Korrelation eine Ursache ablesen, oder aus einem Koeffizienten nahe null schließen, es gebe keinen Zusammenhang. Bei Pearson können sich hinter einem Wert nahe null nichtlineare Zusammenhänge verbergen (Folie 211).

Eine Größe aus einer anderen schätzen: die Regression

Die Regression nehmen Sie, wenn Sie wissen wollen, um wie viel sich eine metrische Größe im Mittel ändert, wenn eine andere steigt, oder wenn Sie mehrere Einflussgrößen zugleich berücksichtigen wollen (Malhotra und Birks 2007, S. 581-582). Sie erhalten eine Gleichung mit Steigung, deren p-Wert und den Anteil der erklärten Streuung R². „Abhängige“ und „unabhängige“ Variable beschreiben die Rechnung, nicht Ursache und Wirkung (ebd., S. 581). Mehr dazu im Beitrag Korrelation und Kausalität.

Wie genau ist ein einzelner Wert?

Nicht jede Frage braucht einen Test. Wenn Sie wissen wollen, wie belastbar ein einzelner Prozentwert ist, hilft ein Konfidenzintervall mehr als jeder p-Wert.

Das Konfidenzintervall für einen Mittelwert geben Statistikprogramme zusammen mit dem t-Test aus. Wollen Sie einen Mittelwert gegen einen festen Sollwert prüfen, etwa „Erreichen wir im Schnitt die 4,0?“, ist der Einstichproben-t-Test das passende Verfahren. Sie finden ihn in den Berichten von QUESTIONSTAR, durchgerechnet ist er im Beitrag Der t-Test.

Was sollten Sie vor jedem Test prüfen?

Zuerst wird geprüft, ob die Voraussetzungen erfüllt sind, erst dann folgen Hypothesen und Rechnung (Schumann 2019, S. 207).

1. Zufallsstichprobe? Signifikanztests schließen von der Stichprobe auf eine Grundgesamtheit und setzen streng genommen eine Zufallsauswahl voraus (Jacob et al. 2019, S. 71). Ohne sie gehört die Einschränkung in den Bericht, siehe Gilt das auch für meine Online-Umfrage?.
2. Genug Fälle je Gruppe oder Zelle? Jacob et al. (2019, S. 72) empfehlen mindestens 20 bis 25 Fälle je Teilgruppe. Eine allgemeine Mindestfallzahl für alle Tests ist das nicht. Die Beispiele hier sind bewusst kleiner. In Kreuztabellen zählen die erwarteten Häufigkeiten je Zelle.
3. Jede Person nur einmal? Zwei Messungen derselben Person brauchen ein Verfahren für verbundene Stichproben. Bei Fragen mit Mehrfachauswahl testen Sie jede Antwortoption als eigene Ja/Nein-Variable.
4. Geplanter Vergleich oder einer von vielen? Legen Sie vorher fest, welche wenigen Vergleiche Sie prüfen, und berichten Sie alles andere als Erkundung, siehe Viele Tests, viele Zufallstreffer.

Und nach dem Test: Berichten Sie immer auch die Größe des Unterschieds, denn signifikant heißt nicht wichtig.

Welche Tests rechnet QUESTIONSTAR selbst?

Die gängigen Verfahren aus der Übersicht rechnen Sie direkt in den Berichten von QUESTIONSTAR, ohne Export:

• t-Test: für eine Stichprobe (Mittelwert gegen einen Sollwert), gepaart und für unabhängige Stichproben (Funktionen).
• Korrelationen: Pearsons r, Spearmans Rho und Kendalls Tau, für ein einzelnes Paar von Fragen oder als Matrix mehrerer Fragen.
• Regressionsanalyse: auch mit mehreren unabhängigen Variablen, mit R² und korrigiertem R².
• Kreuztabellen mit Chi-Quadrat-Test: Der Bericht „Kreuztabelle“ zeigt Chi-Quadrat, Freiheitsgrade und p-Wert, dazu Phi, den Kontingenzkoeffizienten, Cramérs V und Lambda. Liegt eine erwartete Häufigkeit unter 5, weist der Bericht darauf hin.

Die Berichte arbeiten innerhalb einer Umfrage. Der gepaarte t-Test vergleicht deshalb zwei Fragen desselben Fragebogens, also zwei Antworten jeder Person. Verschiedene Umfragen vergleichen die Berichte nicht miteinander. Liegen Vorher und Nachher in zwei getrennten Umfragen, verbinden Sie die Antworten über einen gemeinsamen Schlüssel: mit einem KI-Assistenten über die MCP-Schnittstelle oder von Hand in den exportierten Daten.

Diese Auswertungen sind in allen Tarifen enthalten, auch im kostenlosen.

Arbeiten Sie mit einem KI-Assistenten, der über die MCP-Schnittstelle mit QUESTIONSTAR verbunden ist, kann er drei Berechnungen in QUESTIONSTAR anstoßen: den gepaarten t-Test, Korrelationen und Regressionen. Gerechnet wird dabei auf dem Server von QUESTIONSTAR, der Assistent ruft die Berechnung auf und erläutert das Ergebnis. Der gepaarte t-Test vergleicht auch über diese Schnittstelle genau zwei Fragen derselben Umfrage. Den t-Test für unabhängige Stichproben gibt es über diese Schnittstelle nicht als eingebaute Berechnung, wohl aber in den Berichten.

Was die Berichte nicht ausgeben: Konfidenzintervalle für Anteile, die Varianzanalyse (ANOVA), die Rangtests (Mann-Whitney-U-Test, Wilcoxon-Test, Kruskal-Wallis-Test) und den McNemar-Test. Auch eine Faktorenanalyse rechnet QUESTIONSTAR nicht. Für diese Verfahren nehmen Sie einen der beiden Wege im nächsten Abschnitt.

So rechnen Sie das mit Ihren Daten

Für Verfahren, die Sie in den Berichten nicht finden, etwa die ANOVA, den Mann-Whitney-U-Test oder den McNemar-Test, haben Sie zwei Wege.

Mit einem Statistikprogramm. Exportieren Sie die Antworten als SPSS-, CSV- oder XLSX-Datei und rechnen Sie in SPSS, R oder dem kostenlosen JASP. Prüfen Sie vorher, wie Ausweichantworten wie „kann ich nicht beurteilen“ kodiert sind, damit sie nicht als Skalenwert in den Test eingehen.

Mit einem KI-Assistenten. Ist QUESTIONSTAR über die MCP-Schnittstelle mit einem KI-Assistenten verbunden, etwa in ChatGPT oder Claude, kann der Assistent die Antworten Ihrer Umfrage lesen und den Test daraus berechnen. Hier rechnet der Assistent, nicht QUESTIONSTAR. Nennen Sie ihm das Verfahren ausdrücklich („Mann-Whitney-U-Test, zweiseitig“; zweiseitig heißt, dass ein Unterschied in beide Richtungen geprüft wird, das ist der übliche Fall) und lassen Sie sich Fallzahlen, Prüfgröße und p-Wert ausgeben. Was in eine Abschlussarbeit, eine Veröffentlichung oder eine wichtige Entscheidung eingeht, kontrollieren Sie in einem Statistikprogramm.

Prüfen Sie vorher, welche Fragen der Assistent zu sehen bekommt: Freitexte können personenbezogene Angaben enthalten. Die Einzelheiten stehen unter Rangverfahren und in der Hilfe zur MCP-Schnittstelle.

Checkliste: den passenden Test wählen

• Die vier Angaben geklärt: Art der Frage, Skalenniveau jeder Variable, Zahl der Gruppen, unabhängig oder verbunden
• Test vor dem Blick auf die Ergebnisse gewählt, nicht nach dem kleineren p-Wert
• Geprüft: Zufallsstichprobe oder nicht, Fallzahl je Gruppe, erwartete Häufigkeiten je Zelle, jede Person nur einmal
• Zahl der geplanten Vergleiche notiert, alles Weitere als Erkundung gekennzeichnet
• Im Bericht genannt: Verfahren, Fallzahlen, Prüfgröße (die Zahl, die der Test ausgibt, etwa t oder χ²) mit Freiheitsgraden, soweit der Test sie ausgibt, genauer p-Wert und die Größe des Unterschieds oder Zusammenhangs

Häufige Fragen zur Wahl des statistischen Tests

Welcher statistische Test passt zu meinen Daten?

Das hängt von vier Angaben ab: der Art Ihrer Frage (Unterschied, Zusammenhang, Veränderung oder Genauigkeit eines einzelnen Werts), dem Skalenniveau der Variablen, der Zahl der Gruppen und davon, ob die Gruppen unabhängig oder verbunden sind (Malhotra und Birks 2007, S. 493, 525-526). Für zwei Mittelwerte passt je nach Datenstruktur der unabhängige oder der gepaarte t-Test, für Häufigkeiten in Kategorien bei unabhängigen Gruppen der Chi-Quadrat-Test, für zwei Messgrößen die Korrelation.

Wann nehme ich den t-Test und wann den Chi-Quadrat-Test?

Den t-Test nehmen Sie, wenn Sie Mittelwerte einer metrischen Variablen zwischen zwei Gruppen vergleichen, etwa die durchschnittliche Zufriedenheit an zwei Standorten. Den Chi-Quadrat-Test nehmen Sie, wenn beide Merkmale Kategorien sind und Sie Häufigkeiten in einer Kreuztabelle vergleichen, etwa Standort und bevorzugtes Format.

Was ist der Unterschied zwischen unabhängigen und verbundenen Stichproben?

Unabhängige Stichproben bestehen aus verschiedenen Personen, deren Antworten nicht zusammengehören. Verbundene Stichproben enthalten zwei Messungen derselben Personen, zum Beispiel vor und nach einer Schulung (Malhotra und Birks 2007, S. 525). Für sie gibt es eigene Verfahren: den gepaarten t-Test, den Wilcoxon-Test und für Ja/Nein-Antworten den McNemar-Test.

Welchen Test nehme ich bei mehr als zwei Gruppen?

Bei drei oder mehr unabhängigen Gruppen und einer metrischen Variable ist die einfaktorielle Varianzanalyse (ANOVA) das Standardverfahren, bei ordinalen Daten der Kruskal-Wallis-Test (Malhotra und Birks 2007, S. 546, 565). Für Kategorien bleibt es beim Chi-Quadrat-Test. Mehrere t-Tests nacheinander erhöhen das Risiko von Zufallstreffern.

Welche statistischen Tests kann ich in QUESTIONSTAR rechnen?

In den Berichten von QUESTIONSTAR rechnen Sie den t-Test (für eine Stichprobe, gepaart und unabhängig), Korrelationen nach Pearson, Spearman und Kendall, Regressionsanalysen und Kreuztabellen mit Chi-Quadrat-Test. Die Berichte arbeiten innerhalb einer Umfrage. Varianzanalyse, Rangtests (Mann-Whitney-U-, Wilcoxon- und Kruskal-Wallis-Test) und den McNemar-Test rechnen Sie nach einem Export in einem Statistikprogramm oder mit einem KI-Assistenten über die MCP-Schnittstelle.

Quellen

Divine, G. W., Norton, H. J., Barón, A. E. und Juarez-Colunga, E. (2018). The Wilcoxon-Mann-Whitney Procedure Fails as a Test of Medians. The American Statistician, 72(3), 278-286. DOI 10.1080/00031305.2017.1305291. S. 278.

Jacob, R., Heinz, A. und Décieux, J. P. (2019). Umfrage. Einführung in die Methoden der Umfrageforschung (4. Aufl.). Berlin/Boston: De Gruyter Oldenbourg. S. 71-72.

Malhotra, N. K. und Birks, D. F. (2007). Marketing Research: An Applied Approach (3rd European ed.). Harlow: Pearson. S. 338, 492-494, 525-536, 546, 564-565, 575, 581-582.

Marx, P. (2026). Grundlagen der Umfrageforschung. Foliensatz, Kapitel 5. QUESTIONSTAR. Folie 185, Folie 192, Folie 209, Folie 211.

Schumann, S. (2019). Repräsentative Umfrage. Praxisorientierte Einführung in empirische Methoden und statistische Analyseverfahren (7. Aufl.). Berlin/Boston: De Gruyter Oldenbourg. S. 206-207, 209, 212-213, 239.

Ich wünsche Ihnen Auswertungen, bei denen der Test zur Frage passt und nicht die Frage zum Test.

Übrigens, das hier ist verwandt:

• Der t-Test: Mittelwerte methodisch sauber vergleichen
• Der Chi-Quadrat-Test: Zusammenhänge zwischen kategorialen Merkmalen prüfen
• p-Wert und Signifikanz: einfach erklärt, richtig gedeutet

Dr. Paul Marx

Autor: Dr. Paul Marx
Dr. Paul Marx ist Gründer und Geschäftsführer von QUESTIONSTAR und war Professor für Marketing an der Universität Siegen.