p-Wert und Signifikanz: was sie sagen und was nicht

Was der p-Wert sagt und was nicht, warum signifikant nicht wichtig heißt und wie das Konfidenzintervall zeigt, wie genau Ihre Umfrage ist. Mit Rechner.

Kurz gesagt: Der p-Wert gibt an, wie wahrscheinlich ein Ergebnis wie Ihres oder ein noch deutlicheres wäre, wenn die Nullhypothese stimmt, also in der Grundgesamtheit in Wahrheit kein Unterschied oder kein Zusammenhang besteht, und die übrigen Annahmen des Tests gelten. Er sagt nicht, mit welcher Wahrscheinlichkeit Ihre Hypothese stimmt, und nicht, wie groß oder wichtig ein Effekt ist (Wasserstein und Lazar 2016, S. 131-132). Für die meisten Umfrageergebnisse ist deshalb das Konfidenzintervall nützlicher: Es zeigt, in welchem Bereich der wahre Wert plausibel liegt, etwa „62 % zufrieden, ±4,8 Prozentpunkte“, und es setzt eine Zufallsstichprobe voraus (Jacob et al. 2019, S. 71).

So nutzen Sie den Rechner. Geben Sie ein, wie viele gültige Antworten Sie auf eine Frage haben, und entweder den Anteil in Prozent oder die Zahl der Personen, die eine bestimmte Antwort gewählt haben. Wählen Sie das Konfidenzniveau, üblich sind 95 %. Der Rechner zeigt die Fehlerspanne in Prozentpunkten und das Intervall, in dem der wahre Anteil plausibel liegt. Haben in einer der beiden Gruppen weniger als zehn Personen geantwortet, warnt er Sie, weil die Rechnung dann unzuverlässig wird. Der Rechner gilt für Anteile, nicht für Mittelwerte. Ihre Eingaben bleiben in Ihrem Browser, es werden keine Daten übertragen. Wie der Rechner rechnet, steht unten unter Konfidenzintervall für einen Anteil.

Signifikanz, p-Wert und Konfidenzintervall gehören zusammen, werden aber oft verwechselt. Fünf Fragen beantworte ich in diesem Beitrag der Reihe nach:

1. Was ist ein p-Wert, und was heißt „signifikant“?
2. Welche Fehldeutungen des p-Werts sind am häufigsten?
3. Warum ist ein signifikantes Ergebnis nicht automatisch wichtig?
4. Wie genau ist ein Prozentwert aus meiner Umfrage?
5. Wann gilt das alles, und was ändert sich bei vielen Tests oder einer Online-Umfrage mit offenem Link?

Vielleicht kennen Sie die Situation: Die Zufriedenheit ist von 58 auf 62 % gestiegen, und in der Besprechung fällt sofort die Frage „Ist das signifikant?“. Wer dann „nein“ sagt, hört oft „Also hat sich nichts getan“. Wer „ja“ sagt, hört „Super, das Programm wirkt“. Beides geht zu weit. Dieser Beitrag zeigt, was hinter der Frage steckt, welche Antwort Sie geben können und warum ein ehrlich berichtetes Intervall die Diskussion meist besser trägt als ein Sternchen. Wie man einen t-Test oder einen Chi-Quadrat-Test Schritt für Schritt rechnet, steht in den Beiträgen Der t-Test und Der Chi-Quadrat-Test. Hier geht es um die Logik dahinter und um das richtige Lesen der Ergebnisse.

Was ist ein p-Wert, einfach erklärt?

Jeder Signifikanztest folgt demselben Muster. Sie stellen eine Nullhypothese auf, meist „kein Unterschied“ oder „kein Zusammenhang“, und eine Alternativhypothese, das Gegenteil. Sie legen vorher fest, welches Irrtumsrisiko Sie akzeptieren, das Signifikanzniveau α. Dann berechnen Sie aus Ihren Daten eine Prüfgröße und entscheiden, ob die Nullhypothese verworfen wird (Schumann 2019, S. 206-207; Malhotra und Birks 2007, S. 511).

Der p-Wert ist die Wahrscheinlichkeit, unter der Nullhypothese und den übrigen Annahmen des Modells ein Ergebnis zu erhalten, das mindestens so stark von der Nullhypothese abweicht wie Ihres (Wasserstein und Lazar 2016, S. 131). Je kleiner er ist, desto schlechter passen Ihre Daten zur Nullhypothese, vorausgesetzt, die Annahmen hinter der Rechnung stimmen (ebd.).

Signifikant nennt man ein Ergebnis, wenn der p-Wert unter dem vorher gewählten Signifikanzniveau liegt. Üblich sind 0,05, 0,01 oder 0,001, also 5 %, 1 % oder 0,1 % (Schumann 2019, S. 206). In Tabellen stehen dafür oft Sternchen, ein Sternchen für 0,05, zwei für 0,01 (Weinreich und von Lindern 2008, S. 103). Welches Niveau passt, hängt davon ab, was ein Irrtum kosten würde (Malhotra und Birks 2007, S. 513; Schumann 2019, S. 208, Fn. 21).

Durchgerechnet: Ist die Zufriedenheit gestiegen?

Ein erfundenes Beispiel, das wir durch den ganzen Beitrag mitnehmen. Ein Onlineshop befragt jedes Jahr 400 zufällig ausgewählte Kundinnen und Kunden. Gefragt wird:

„Wie zufrieden sind Sie insgesamt mit unserem Service?“
sehr unzufrieden · eher unzufrieden · teils/teils · eher zufrieden · sehr zufrieden

Im Vorjahr antworteten 232 von 400 „eher“ oder „sehr zufrieden“, das sind 58 %. In diesem Jahr sind es 248 von 400, also 62 %. Der Unterschied beträgt 4 Prozentpunkte. Ist das mehr, als zwei Zufallsstichproben ohnehin voneinander abweichen?

Die Nullhypothese lautet: In der Kundschaft hat sich der Anteil der Zufriedenen nicht verändert. Geprüft wird mit dem z-Test für zwei Anteile aus unabhängigen Stichproben, hier also verschiedenen Personen in beiden Jahren, so wie Malhotra und Birks (2007, S. 530-531) ihn beschreiben:

„Zweiseitig“ heißt: Wir zählen Abweichungen in beide Richtungen, weil vorab nicht feststand, ob die Zufriedenheit steigt oder sinkt. Ein einseitiger Test prüft nur eine Richtung und passt nur, wenn diese Richtung schon vor der Befragung als Hypothese feststand (Malhotra und Birks 2007, S. 512).

Ein p-Wert von 0,25 heißt: Hätte sich in der Kundschaft nichts verändert, würde man bei solchen Befragungen mit je 400 Personen in etwa einem Viertel der Fälle einen Unterschied von 4 Prozentpunkten oder mehr sehen, in die eine oder die andere Richtung. Ein Unterschied dieser Größe ist bei 400 Antworten je Jahr also nichts Ungewöhnliches. Bei einem Signifikanzniveau von 5 % ist das Ergebnis nicht signifikant. Bei dieser Fallzahl und Anteilen um 60 % würde erst ein Unterschied von etwa 7 Prozentpunkten signifikant.

Was heißt das für die Besprechung? Nicht „es hat sich nichts getan“. Sondern: „Die Zufriedenheit liegt um 4 Prozentpunkte höher als im Vorjahr. Mit je 400 Antworten ist ein solcher Unterschied aber auch dann nicht ungewöhnlich, wenn sich in Wahrheit nichts verändert hat.“ Was genau Sie aus einem nicht signifikanten Ergebnis schließen dürfen, klärt der nächste Abschnitt.

Zwei Fehler, die jeder Test machen kann

Ein Test kann auf zwei Arten danebenliegen. Er verwirft die Nullhypothese, obwohl sie stimmt. Das ist der Fehler 1. Art. Wenn die Nullhypothese stimmt, passiert das mit der Wahrscheinlichkeit α, dem Signifikanzniveau. Oder er verwirft sie nicht, obwohl sie falsch ist. Das ist der Fehler 2. Art, seine Wahrscheinlichkeit heißt β (Malhotra und Birks 2007, S. 513; Schumann 2019, S. 208). Die Wahrscheinlichkeit, einen tatsächlich vorhandenen Unterschied zu entdecken, heißt Teststärke oder Power, 1 − β (Malhotra und Birks 2007, S. 513).

Eigene Darstellung nach Malhotra und Birks 2007, S. 513, und Schumann 2019, S. 208.

In meinem Kurs „Grundlagen der Umfrageforschung“ erkläre ich die beiden Fehler mit einem Strafprozess (Folie 188 und Folie 189): Die Nullhypothese lautet „Der Angeklagte ist unschuldig“, der Fehler 1. Art ist die Verurteilung eines Unschuldigen, der Fehler 2. Art das Freilassen eines Verbrechers.

Beide Fehler hängen zusammen. Wer α sehr klein wählt, um ganz sicher zu gehen, übersieht leichter echte Unterschiede (Schumann 2019, S. 208). Und wer wenige Antworten hat, hat wenig Power. Beim Onlineshop mit je 400 Antworten würde ein echter Anstieg von 58 auf 62 % nur in etwa jeder fünften solchen Befragung signifikant (Power ≈ 0,21, eigene Rechnung). Die 4 Prozentpunkte können also echt sein, auch wenn der Test nicht signifikant ausfällt.

Was sagt der p-Wert nicht? Sechs häufige Fehldeutungen

Die American Statistical Association (ASA), die Fachgesellschaft der Statistiker in den USA, hat 2016 eine eigene Stellungnahme zum p-Wert veröffentlicht, weil er so oft falsch gelesen wird. Sie fasst ihre Kritik in sechs Prinzipien zusammen (Wasserstein und Lazar 2016, S. 131-132). Die folgende Tabelle übersetzt sie in Sätze, die in Abschlussarbeiten und Berichten tatsächlich stehen.

Prinzipien nach Wasserstein und Lazar 2016, eigene Übersetzung und Beispiele.

Die vierte Zeile verdient einen zweiten Blick, weil sie in der Praxis am meisten Schaden anrichtet, vor allem bei kleinen Gruppen. Weinreich und von Lindern (2008, S. 101-102) beschreiben eine Kundenbefragung, in der die 56- bis 65-Jährigen im Diagramm völlig aus der Reihe fielen. Signifikant war nichts davon, denn von 610 Befragten gehörten nur 13 zu dieser Altersgruppe. Die richtige Schlussfolgerung lautet dann „Wir wissen es nicht“, nicht „Die Älteren unterscheiden sich nicht“.

Statt nur „signifikant“ oder „nicht signifikant“ zu melden, empfiehlt die ASA, Schätzungen in den Vordergrund zu stellen, zum Beispiel mit Konfidenzintervallen (Wasserstein und Lazar 2016, S. 132).

Signifikant heißt nicht wichtig: Effektgröße und Relevanz

Ob ein Ergebnis signifikant wird, hängt nicht nur davon ab, wie groß der Unterschied ist, sondern auch davon, wie viele Antworten Sie haben. Nehmen wir den Onlineshop und ändern nur die Fallzahl:

Erfundenes Rechenbeispiel, eigene Rechnung (z-Test für zwei Anteile).

A und B zeigen denselben Unterschied, aber nur B ist signifikant. C ist signifikant, obwohl der Unterschied nur einen Prozentpunkt beträgt. Genau das meint die ASA: Jeder noch so kleine Effekt kann bei genügend großer Stichprobe einen kleinen p-Wert erzeugen, und große Effekte können bei kleiner Stichprobe unauffällig bleiben (Wasserstein und Lazar 2016, S. 132). Malhotra und Birks (2007, S. 531) zeigen das umgekehrte Bild: 73 % gegenüber 40 % ist ein deutlicher Unterschied, mit je 15 Befragten aber nicht signifikant.

Ob ein Unterschied relevant ist, entscheidet deshalb nicht der Test, sondern Ihre Frage. Ein Prozentpunkt mehr Zufriedenheit ist für einen Versandhändler mit Millionen Kunden vielleicht viel Geld, für eine Abteilung mit 40 Beschäftigten bedeutungslos. Berichten Sie deshalb immer die Größe des Unterschieds in verständlichen Einheiten, bei Anteilen in Prozentpunkten, und neben dem p-Wert ein Maß für die Stärke:

• Bei Anteilen: die Differenz in Prozentpunkten mit ihrem Konfidenzintervall (siehe Vergleich).
• Bei Mittelwerten: zusätzlich Cohen's d, erklärt im Beitrag Der t-Test.
• Bei Kreuztabellen: Phi oder Cramérs V. Der Chi-Quadrat-Test prüft nur, ob ein Zusammenhang besteht, nicht wie stark er ist (Schumann 2019, S. 209; Malhotra und Birks 2007, S. 521). Verdoppeln Sie alle Werte einer Kreuztabelle, verdoppelt sich Chi-Quadrat, der Zusammenhang bleibt aber derselbe (Folie 202). Wie das geht, zeigt der Beitrag Der Chi-Quadrat-Test.

Merksatz: Der p-Wert beantwortet „Wie ungewöhnlich wäre dieses Ergebnis, wenn es in Wahrheit keinen Unterschied gäbe?“. Die Effektgröße beantwortet „Wie groß ist es?“. Ob es wichtig ist, beantworten Sie selbst, mit Blick auf Ihre Entscheidung.

Wie genau ist mein Ergebnis? Das Konfidenzintervall für einen Anteil

Die meisten Umfrageergebnisse sind Anteile: 62 % zufrieden, 35 % würden das Produkt weiterempfehlen, 18 % nutzen das Angebot täglich. Die wichtigste Frage dazu lautet nicht „signifikant oder nicht?“, sondern: Wie weit kann dieser Wert vom wahren Anteil in der Grundgesamtheit entfernt sein? Die Antwort gibt das Konfidenzintervall.

Ein Konfidenzintervall ist ein aus der Stichprobe berechneter Bereich um Ihr Ergebnis, verbunden mit einem Konfidenzniveau, meist 95 %. Das Konfidenzniveau beschreibt das Verfahren: Es ist der Anteil der so berechneten Intervalle, die bei sehr vielen Zufallsstichproben den wahren Wert enthalten würden (Schumann 2019, S. 191). Die halbe Breite des Intervalls heißt Fehlerspanne.

Die Formel

Für einen Anteil p aus n gültigen Antworten lautet das Intervall (Schumann 2019, S. 193; Malhotra und Birks 2007, S. 440-441):

Es ist dieselbe Formel, mit der Sie im Beitrag Berechnung der Stichprobengröße die nötige Fallzahl bestimmen, nur in die andere Richtung gelesen. Dort geben Sie die Fehlerspanne vor und suchen n. Hier haben Sie n und berechnen die Fehlerspanne.

Durchgerechnet: 248 von 400

Für die 62 % Zufriedenen aus dem Onlineshop-Beispiel:

Mit 90 % wird das Intervall schmaler (58,0 % bis 66,0 %), mit 99 % breiter (55,7 % bis 68,3 %). Mehr Sicherheit kostet Breite (Schumann 2019, S. 192). Als schnelle Faustformel für 95 % und Anteile um 50 % taugt: Fehlerspanne ≈ 1 / √n, also bei 400 Antworten etwa ±5 Prozentpunkte (Folie 152).

Was bedeuten die 95 %? Sie beschreiben das Verfahren, nicht Ihr einzelnes Intervall. Würden Sie die Befragung mit immer neuen Zufallsstichproben sehr oft wiederholen, enthielten ungefähr 95 von 100 so berechneten Intervallen den wahren Anteil. „Ungefähr“, weil die Formel eine Näherung ist. Ob Ihr Intervall dazugehört, wissen Sie nicht. Der wahre Wert liegt darin oder eben nicht (Schumann 2019, S. 191, Fn. 37). Der Satz „Mit 95 % Wahrscheinlichkeit liegt der wahre Wert zwischen 57,2 und 66,8 %“ ist deshalb streng genommen nicht korrekt, auch wenn er sogar in Lehrbüchern steht (etwa Malhotra und Birks 2007, S. 437). Im Bericht sind Sie mit dieser Formulierung auf der sicheren Seite:

„62 % der Befragten sind eher oder sehr zufrieden (95-%-Konfidenzintervall 57,2 % bis 66,8 %, n = 400, Zufallsstichprobe aus der Kundendatei).“

Wie breit wird das Intervall bei wie vielen Antworten?

Für ein halb so breites Intervall brauchen Sie viermal so viele Antworten (Schumann 2019, S. 192, Fn. 43): 400 statt 100, 1.600 statt 400. Das gilt auch für Teilgruppen. Berichten Sie Ergebnisse je Abteilung, rechnen Sie das Intervall mit der Fallzahl der Abteilung. Hat der Vertrieb 25 Antworten und 15 davon sind zufrieden, lautet das Ergebnis 60 % ±19,2 Prozentpunkte, also irgendwo zwischen 41 und 79 %. Das ist kaum mehr als eine Richtung. Und weil nur zehn Personen nicht „eher zufrieden“ oder „sehr zufrieden“ gewählt haben, erfüllt der Fall die 10er-Faustregel gerade noch, die Näherung bleibt hier grob (siehe nächster Abschnitt). Die Faustregel von mindestens 20 bis 25 Fällen je Untergruppe (Jacob et al. 2019, S. 72) ist eine Untergrenze, keine Zielgröße.

Wann die Formel nicht mehr taugt

Die Formel ist eine Näherung über die Normalverteilung. Sie wird ungenau, wenn der Anteil nahe 0 oder 100 % liegt und wenige Antworten vorliegen. Als Faustregel gilt, dass n × p × (1 − p) größer als 9 sein soll (Bosch 2012, S. 178, zitiert nach Schumann 2019, S. 193). Bekannter ist die Regel, dass mindestens 10 Personen die Antwort gegeben und mindestens 10 sie nicht gegeben haben sollen, also n × p ≥ 10 und n × (1 − p) ≥ 10 (Diez et al. o. J., Abschnitt 6.1). Die beiden Faustregeln sind nicht gleich streng: Bei Anteilen in der Mitte ist die 10er-Regel großzügiger als die Regel nach Bosch, nahe 0 oder 100 % kann sie strenger sein. Bei einem Anteil von 50 % verlangt Bosch mehr als 36 Antworten, die 10er-Regel nur 20. Der Rechner oben warnt nach der 10er-Regel. Liegt Ihr Fall nur knapp darüber, wie der Vertrieb mit 15 von 25 (nach Bosch reicht das nicht mehr), lesen Sie das Intervall als grobe Orientierung.

Ein Beispiel für den Grenzfall: 3 von 30 Befragten haben ein Problem gemeldet, das sind 10 %. Die Formel ergibt ±10,7 Prozentpunkte, also rechnerisch −0,7 % bis 20,7 %. Ein negativer Anteil ist unmöglich, und mit nur drei Nennungen ist die Näherung unzuverlässig. Statistikprogramme bieten für solche Fälle genauere Verfahren an. Für den Bericht reicht oft die ehrliche Angabe: „3 von 30 Befragten“.

Zwei weitere Grenzen: Die Formel unterstellt eine einfache Zufallsstichprobe aus einer großen Grundgesamtheit. Befragen Sie einen großen Teil einer kleinen Gruppe, etwa 80 von 100 Beschäftigten, ist das Intervall zu breit, in diesem Beispiel mehr als doppelt so breit wie nötig. Die Korrektur für endliche Grundgesamtheiten steht im Beitrag Berechnung der Stichprobengröße. Und die Formel erfasst nur den Zufallsfehler der Auswahl, nicht missverständliche Fragen oder systematische Ausfälle (Malhotra und Birks 2007, S. 85).

Und sie gilt für Anteile. Für einen Mittelwert, etwa die durchschnittliche Zufriedenheit auf einer Skala von 1 bis 5, lautet das Intervall: Mittelwert ± z × Standardabweichung der Stichprobe / √n. Genau genommen gehört an die Stelle von z der Wert der t-Verteilung. Ab etwa 100 Antworten macht das kaum noch einen Unterschied (Schumann 2019, S. 191-192, Fn. 40). Beim Vergleich zweier Mittelwerte liefert der t-Test die Prüfung der Differenz.

Zwei Gruppen oder zwei Jahre vergleichen

Zurück zum Vorjahresvergleich. Die beiden Intervalle sehen so aus:

Erfundenes Beispiel, eigene Rechnung.

Für den Vergleich zählt das Intervall der Differenz in der letzten Zeile. Es reicht von einem leichten Rückgang bis zu einem deutlichen Anstieg und schließt die Null ein. Das passt zum nicht signifikanten Test von oben, sagt aber mehr: Sowohl ein Anstieg um 10 Prozentpunkte als auch ein Rückgang um 2 Prozentpunkte liegen innerhalb dieses Intervalls. Die Daten erlauben also noch keine genaue Aussage über Richtung und Größe der Veränderung. Damit wird aus „nicht signifikant“ eine Aussage, mit der man arbeiten kann.

Vorsicht beim Blick auf zwei einzelne Intervalle: Dass sie sich überlappen, ist kein Test. Zwei Intervalle können sich überlappen, obwohl die Differenz signifikant ist. Ein Beispiel: 58 % (53,2 % bis 62,8 %) und 65 % (60,3 % bis 69,7 %), je 400 Antworten. Die Intervalle überschneiden sich zwischen 60,3 und 62,8 %, der Test der Differenz ergibt trotzdem p ≈ 0,04. Rechnen Sie deshalb die Differenz direkt, mit dem z-Test für zwei Anteile (Malhotra und Birks 2007, S. 530-531), bei Kreuztabellen mit dem Chi-Quadrat-Test, bei Mittelwerten mit dem t-Test.

Die Rechnung hier gilt für zwei unabhängige Stichproben, also verschiedene Personen in beiden Jahren. Befragen Sie beide Male dieselben Personen, brauchen Sie einen Test für verbundene Stichproben.

Wie hängen Stichprobengröße, Fehlerspanne und Signifikanz zusammen?

Alle drei Größen hängen an derselben Stelle: dem n unter der Wurzel. Mit wachsender Stichprobe werden Konfidenzintervalle schmaler (Jacob et al. 2019, S. 71), und bei gleichem α sinkt das Risiko, einen vorhandenen Unterschied zu übersehen (Malhotra und Birks 2007, S. 513). Daraus folgen zwei praktische Regeln.

Vor der Befragung legen Sie fest, wie genau Ihr Ergebnis sein muss, und berechnen daraus die Fallzahl. Wie das geht, zeigen der Beitrag Berechnung der Stichprobengröße und der Stichprobenrechner. Wollen Sie Veränderungen oder Gruppen vergleichen, reicht die Fehlerspanne für den einzelnen Wert nicht. Um einen echten Anstieg von 58 auf 62 % in vier von fünf Befragungen als signifikant zu erkennen, bräuchte der Onlineshop rund 2.350 Antworten je Jahr statt 400 (eigene Näherungsrechnung, Power 80 %, α = 0,05, zweiseitig). Kleine Unterschiede nachzuweisen ist teuer.

Nach der Befragung rechnen Sie mit der realen Fallzahl je Frage. Bei fehlenden Antworten kann sie kleiner sein als die Zahl der abgeschlossenen Fragebögen.

Eine große Stichprobe ersetzt allerdings keine gute Auswahl. Das bekannteste Beispiel ist die Umfrage des „Literary Digest“ von 1936: 2,4 Millionen Antworten und trotzdem der falsche Wahlsieger, weil die Auswahl verfehlt war (Jacob et al. 2019, S. 71-72, ausführlich im Beitrag Stichprobenverfahren). Kein Konfidenzintervall der Welt hätte diesen Fehler angezeigt.

Viele Tests, viele Zufallstreffer

Umfragen verführen zu vielen Vergleichen. 20 Fragen, jeweils Frauen gegen Männer, das sind 20 Tests. Stimmt bei allen die Nullhypothese und sind die Tests unabhängig, wird bei α = 0,05 im Mittel einer davon trotzdem signifikant, und die Wahrscheinlichkeit für mindestens einen solchen Zufallstreffer liegt bei 64 % (Bland und Altman 1995, S. 170). Mit der Zahl der Tests steigt sie schnell:

Eigene Rechnung: 1 − 0,95^k unter der Annahme, dass alle Nullhypothesen stimmen und die Tests unabhängig sind.

Was hilft:

• Hypothesen vorher festlegen. Schreiben Sie vor der Auswertung auf, welche zwei oder drei Vergleiche Sie wirklich interessieren. Diese prüfen Sie. Alles andere ist Erkundung und wird als solche berichtet.
• Alles berichten, was Sie gerechnet haben, nicht nur die signifikanten Ergebnisse (siehe Tabelle oben, letzte Zeile).
• Bei vielen Tests strenger werden. Die einfachste Korrektur nach Bonferroni teilt das Signifikanzniveau durch die Zahl der Tests (Bland und Altman 1995, S. 170). Bei 20 Tests gilt dann p < 0,0025 statt p < 0,05. Das ist streng und übersieht leichter echte Unterschiede, schützt aber vor Scheinbefunden. Hängen die Tests voneinander ab, was bei Fragen an dieselben Personen fast immer so ist, wird die Korrektur noch strenger als nötig (ebd.).
• Überraschungen bestätigen. Ein unerwarteter signifikanter Befund aus einer Vielzahl von Vergleichen ist ein exploratives Ergebnis. Berichten Sie ihn als Hinweis und prüfen Sie die Hypothese, die sich daraus ergibt, in der nächsten Befragung.

Gilt das auch für meine Online-Umfrage mit offenem Link?

p-Werte und Konfidenzintervalle beruhen auf der Annahme, dass die Befragten zufällig ausgewählt wurden. Nur dann lassen sich Ergebnisse mit statistischen Verfahren auf die Grundgesamtheit verallgemeinern, und nur dann lassen sich Vertrauensintervalle sinnvoll berechnen (Jacob et al. 2019, S. 71). Auch die amerikanische Fachgesellschaft AAPOR hält fest, dass die Fehlerspanne nur für Zufallsstichproben gilt und nicht für Online-Umfragen mit Selbstauswahl (AAPOR o. J., S. 1). Haben Sie aus einer Kundendatei per Zufall gezogen und die Gezogenen persönlich eingeladen, ist die Voraussetzung im Prinzip erfüllt, solange die Ausfälle das Bild nicht verzerren.

Haben Sie den Link in sozialen Netzwerken geteilt oder auf die Website gestellt, haben sich die Teilnehmenden selbst ausgewählt. Rechnen können Sie dann trotzdem, nur gilt das Ergebnis nicht automatisch für eine Grundgesamtheit. Berichten Sie in diesem Fall Tendenzen, beschreiben Sie, wie die Teilnehmenden gewonnen wurden, und nennen Sie p-Werte oder Intervalle höchstens unter der ausdrücklichen Annahme, die Stichprobe verhalte sich wie eine Zufallsstichprobe. Welche Auswahlverfahren es gibt und was jedes erlaubt, erkläre ich im Beitrag Stichprobenverfahren. Was „repräsentativ“ heißt, steht unter Repräsentativität.

p-Werte und Tests mit QUESTIONSTAR

In QUESTIONSTAR rechnen Sie die gängigen Tests direkt im Tool. Der t-Test (gepaart und unabhängig), Korrelationen (Pearsons r, Spearmans Rho, Kendalls Tau) und Regressionsanalysen werden mit Ausweis des Signifikanzniveaus berechnet (Funktionen). Kreuztabellen erstellen Sie in den Berichten. Chi-Quadrat-Wert, p-Wert und Cramérs V werden dort mit ausgegeben.

Arbeiten Sie mit einem KI-Assistenten, der über die MCP-Schnittstelle mit QUESTIONSTAR verbunden ist, kann er gepaarte t-Tests (zwei Fragen, dieselben Befragten), Korrelationen und lineare Regressionen auf Ihren Umfragedaten anstoßen. Gerechnet wird dabei serverseitig in QUESTIONSTAR, der Assistent ruft die Berechnung auf und erklärt das Ergebnis. Beim gepaarten t-Test bekommen Sie neben dem p-Wert die mittlere Differenz mit ihrem 95-%-Konfidenzintervall. Andere Vergleiche, etwa zwischen zwei Gruppen, kann der Assistent selbst aus den Antworten rechnen. Bitten Sie ihn dann, Verfahren und Fallzahlen zu nennen, und lassen Sie ihn die Zahl der gerechneten Tests mitzählen. Fragen, die Sie als personenbezogen markiert haben, werden bei eingeschalteter Einstellung nicht an den Assistenten übergeben. Antworten ohne diese Markierung, vor allem Freitexte, können trotzdem personenbezogene Daten enthalten. Prüfen Sie deshalb vorher, welche Fragen der Assistent zu sehen bekommt.

Für das Konfidenzintervall eines Anteils nehmen Sie die Zahl der gültigen Antworten und den Anteil aus der Auswertung Ihrer Frage und setzen beides in den Rechner oben ein. Für eigene Analysen exportieren Sie die Rohdaten als SPSS-, CSV- oder XLSX-Datei.

Checkliste: Signifikanz und Genauigkeit richtig berichten

• Stichprobenverfahren genannt (Zufallsstichprobe aus welcher Liste, oder Selbstauswahl über offenen Link)
• Fallzahl je Ergebnis angegeben, bei Teilgruppen die Fallzahl der Gruppe
• Bei Zufallsstichprobe und ausreichenden Häufigkeiten: Anteile mit Konfidenzintervall oder Fehlerspanne und Konfidenzniveau berichtet. Bei Selbstauswahl stattdessen die eingeschränkte Übertragbarkeit ausdrücklich genannt
• Unterschiede in Prozentpunkten oder als Effektgröße angegeben, nicht nur als „signifikant“
• p-Werte genau angegeben (p = 0,03 statt nur p < 0,05, sehr kleine Werte als p < 0,001 statt p = 0,000), Signifikanzniveau vorher festgelegt
• „Nicht signifikant“ als „kein Nachweis“ formuliert, nicht als „kein Unterschied“
• Zahl aller gerechneten Tests genannt, bei vielen Tests korrigiert oder als Erkundung gekennzeichnet
• Bei weniger als 10 Antworten in einer der beiden Gruppen (Antwort gewählt oder nicht gewählt) Häufigkeiten statt Intervall berichtet

Häufige Fragen zu p-Wert und Signifikanz

Was ist der p-Wert in einem Satz?

Der p-Wert ist die Wahrscheinlichkeit, ein Ergebnis wie das beobachtete oder ein noch deutlicheres zu erhalten, wenn in Wahrheit kein Unterschied oder Zusammenhang besteht und die Annahmen des Tests stimmen. Ein kleiner p-Wert heißt, dass die Daten schlecht zu „kein Unterschied“ passen (Wasserstein und Lazar 2016, S. 131).

Was bedeutet p < 0,05?

p < 0,05 bedeutet: Wäre die Nullhypothese wahr und stimmten die übrigen Annahmen des Tests, träte ein mindestens so deutliches Ergebnis in weniger als 5 % vergleichbarer Stichproben auf. Haben Sie vorher das Signifikanzniveau α = 0,05 festgelegt, ist das Ergebnis auf diesem Niveau signifikant. Das Signifikanzniveau ist die Grenze, die Sie vor der Auswertung wählen, der p-Wert ist das, was Ihre Daten ergeben. Es heißt nicht, dass die Hypothese mit 95 % Wahrscheinlichkeit stimmt, und nicht, dass der Effekt groß oder wichtig ist (Wasserstein und Lazar 2016, S. 131-132).

Was heißt „nicht signifikant“?

Der p-Wert liegt nicht unter dem vorher festgelegten Signifikanzniveau, die Nullhypothese wird deshalb nicht verworfen. Das ist kein Beleg dafür, dass es keinen Unterschied gibt (Wasserstein und Lazar 2016, S. 132; Malhotra und Birks 2007, S. 512). Besonders bei kleinen Gruppen bleiben auch echte Unterschiede oft nicht signifikant.

Was ist der Unterschied zwischen Signifikanz und Relevanz?

Signifikanz sagt, dass ein Ergebnis so deutlich ist, wie es ohne echten Unterschied nur selten vorkäme. Relevanz sagt, ob es für Ihre Entscheidung eine Rolle spielt. Bei sehr großen Stichproben werden auch winzige Unterschiede signifikant, bei kleinen bleiben große Unterschiede unauffällig (Wasserstein und Lazar 2016, S. 132). Berichten Sie deshalb immer auch die Größe des Unterschieds.

Wie berechne ich das Konfidenzintervall für einen Anteil?

Standardfehler = Wurzel aus p × (1 − p) / n, Fehlerspanne = z × Standardfehler mit z = 1,96 bei 95 %, Intervall = Anteil ± Fehlerspanne. Bei 248 von 400 (62 %) ergibt das ±4,8 Prozentpunkte, also 57,2 % bis 66,8 % (Schumann 2019, S. 193). Als Faustregel sollten mindestens zehn Personen die Antwort gegeben und zehn sie nicht gegeben haben. Nahe dieser Grenze bleibt die Näherung grob.

Darf ich bei einer Online-Umfrage mit offenem Link Signifikanztests rechnen?

Rechnen können Sie sie, die Voraussetzung einer Zufallsauswahl ist aber nicht erfüllt. Ein Schluss auf die Grundgesamtheit mit statistischen Verfahren setzt eine Zufallsauswahl voraus (Jacob et al. 2019, S. 71). Berichten Sie Ergebnisse dann als Tendenzen und nennen Sie die Annahme ausdrücklich.

Was ist der Unterschied zwischen Konfidenzintervall und Konfidenzniveau?

Das Konfidenzintervall ist der Bereich um Ihr Ergebnis, zum Beispiel 57,2 % bis 66,8 %. Das Konfidenzniveau, zum Beispiel 95 %, beschreibt das Verfahren: Bei sehr vielen Wiederholungen würden etwa 95 von 100 so berechneten Intervallen den wahren Wert enthalten (Schumann 2019, S. 191).

Quellen

AAPOR, American Association for Public Opinion Research (o. J.). Margin of Sampling Error/Credibility Interval. Stellungnahme, aapor.org (PDF), abgerufen am 11.11.2026. S. 1 (Fehlerspanne nur für Zufallsstichproben).

Bland, J. M. und Altman, D. G. (1995). Multiple significance tests: the Bonferroni method. BMJ, 310(6973), 170. DOI 10.1136/bmj.310.6973.170. S. 170 (20 Tests, Bonferroni-Korrektur, abhängige Tests).

Diez, D. M., Barr, C. D. und Çetinkaya-Rundel, M. (o. J.). OpenIntro Statistics. Online-Ausgabe bei LibreTexts (stats.libretexts.org), ohne Auflagenangabe, abgerufen am 11.11.2026. Abschnitt 6.1 „Inference for a Single Proportion“ (Bedingung von mindestens 10 Erfolgen und 10 Misserfolgen).

Jacob, R., Heinz, A. und Décieux, J. P. (2019). Umfrage. Einführung in die Methoden der Umfrageforschung (4. Aufl.). Berlin/Boston: De Gruyter Oldenbourg. S. 71-72 (Zufallsauswahl, Vertrauensintervalle, Literary Digest, Fallzahl je Subgruppe).

Malhotra, N. K. und Birks, D. F. (2007). Marketing Research: An Applied Approach (3rd European ed.). Harlow: Pearson. S. 85 (Gesamtfehler), S. 437-441 (Konfidenzintervalle, Anteile), S. 511-513 (Hypothesentest, ein- und zweiseitig, Fehlerarten, Teststärke), S. 521 (Signifikanz und Stärke des Zusammenhangs), S. 530-531 (Test für zwei Anteile).

Marx, P. (2026). Grundlagen der Umfrageforschung. Foliensatz, Folie 152 (Kapitel 4), Folien 188, 189 und 202 (Kapitel 5). QUESTIONSTAR. Folie 152, Folie 188, Folie 189, Folie 202.

Schumann, S. (2019). Repräsentative Umfrage. Praxisorientierte Einführung in empirische Methoden und statistische Analyseverfahren (7. Aufl.). Berlin/Boston: De Gruyter Oldenbourg. S. 191-193 (Konfidenzintervalle für Mittelwerte und Anteilswerte), S. 206-209 (Signifikanztest, Alpha- und Beta-Fehler, Stärke des Zusammenhangs).

Wasserstein, R. L. und Lazar, N. A. (2016). The ASA's Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129-133. DOI 10.1080/00031305.2016.1154108. S. 131-132 (Definition und sechs Prinzipien).

Weinreich, U. und von Lindern, E. (2008). Praxisbuch Kundenbefragungen. München: mi-Fachverlag, FinanzBuch Verlag. S. 101-103 (Signifikanztests in der Praxis).

Ich wünsche Ihnen Ergebnisse, bei denen Sie nicht nur sagen können, ob sie signifikant sind, sondern auch, wie genau und wie wichtig.

Übrigens, das hier ist verwandt:

• Berechnung der Stichprobengröße: technische Details einfach erklärt
• Der t-Test: Mittelwerte methodisch sauber vergleichen
• Stichprobenverfahren: Zufallsstichprobe, Quote und Klumpen

Dr. Paul Marx

Autor: Dr. Paul Marx
Dr. Paul Marx ist Gründer und Geschäftsführer von QUESTIONSTAR und war Professor für Marketing an der Universität Siegen.