Warum jeder Test gleich gebaut ist: von der Glockenkurve über die Standardnormalverteilung zu t, Freiheitsgraden, Chi-Quadrat und F. Nach einer Vorlesung.
Kurz gesagt: Jeder Hypothesentest folgt derselben Idee. Ihrer Vermutung, der Alternativhypothese H1, stellen Sie die Nullhypothese H0 gegenüber: Es gibt keinen Effekt, also keinen Unterschied und keinen Zusammenhang. Dann fragen Sie, wie wahrscheinlich ein so extremer oder noch extremerer Wert wie Ihrer wäre, wenn H0 stimmt. Diese Wahrscheinlichkeit heißt p-Wert. Ist sie nicht größer als das vorher festgelegte Signifikanzniveau, meist 5 %, lehnen Sie H0 ab, sofern die Voraussetzungen des Tests erfüllt sind. Bewiesen ist der vermutete Effekt damit nicht. Die Tests unterscheiden sich vor allem in der Teststatistik und ihrer Verteilung. Wer nur Testergebnisse in Berichten lesen will, findet das Wichtigste im Abschnitt So lesen Sie ein Testergebnis.
Dieser Beitrag geht auf eine meiner Vorlesungen zurück und streift dabei auch, woher einige Tests kommen. Wer die gemeinsame Idee kennt, versteht besser, was ein Test aussagt, und wendet ihn nicht bloß nach Rezept an.
Der Reihe nach:
- Welche Idee steckt in jedem Test?
- Wo fängt alles an? Die Glockenkurve
- Warum 5 %? Eine Konvention, aus der 1,96 folgt
- Wie bringt man alle Glockenkurven auf eine?
- Was ändert sich, wenn man einen Mittelwert prüft?
- Liegt Ihr Wert in der Mitte oder im Rand?
- Warum braucht man das t und die Freiheitsgrade?
- Was sind Freiheitsgrade?
- Wie liest man die Tabelle und entscheidet?
- t-Test, Chi-Quadrat, Varianzanalyse, Regression: dieselbe Idee
- Was haben alle Tests gemeinsam?
- So lesen Sie ein Testergebnis
- Häufige Fragen zu Hypothesentests
- Quellen
Welche Idee steckt in jedem Test?
Ein Test beginnt mit der Hypothese, dass ein Effekt vorhanden ist. Was können das für Effekte sein? Eine geschaltete Werbeanzeige bewirkt, dass ein Unternehmen mehr oder weniger Umsatz macht. Rauchen beeinflusst, ob jemand an Lungenkrebs erkrankt. Das Geschlecht wirkt sich darauf aus, wie Menschen einkaufen. Diese Vermutung heißt Alternativhypothese, kurz H1. Ihr gegenüber steht die Nullhypothese H0: Es gibt keinen Effekt. Im letzten Beispiel hieße das, Männer und Frauen kaufen gleich ein. Warum prüft man gerade sie? Für «kein Effekt» lässt sich genau ausrechnen, welche Werte zu erwarten wären. Für einen Effekt, dessen Größe offen ist, geht das nicht. Dazu kommt: Widerlegen ist leichter als beweisen. Dass alle Schwäne weiß sind, beweisen auch tausend weiße Schwäne nicht, ein einziger schwarzer widerlegt es. Beim Test ist es ähnlich, aber nicht genauso. Daten, die unter H0 sehr selten wären, sprechen gegen H0. Anders als der schwarze Schwan widerlegen sie H0 aber nicht mit Sicherheit, denn selten heißt nicht unmöglich. Beweisen können sie weder, dass es keinen Effekt gibt, noch dass es einen gibt.
Dann sammeln Sie Daten, berechnen daraus Teststatistiken und schauen, ob Ihr Wert unter einer bestimmten Verteilung wahrscheinlich ist. Diese Verteilung braucht jeder Test. Sie beschreibt, welche Werte der Teststatistik zu erwarten wären, wenn H0 stimmt und nur der Zufall wirkt.
Wäre ein so extremer Wert dort selten, spricht Ihre Beobachtung gegen H0, und Sie lehnen sie ab. Wie selten das sein muss, legen Sie vorher fest, mit dem Signifikanzniveau α, meist 0,05 oder kleiner. Damit legen Sie zugleich das Risiko fest, H0 abzulehnen, obwohl sie stimmt.
Zum Vergleich brauchen Sie zwei Zahlen. Den empirischen Wert der Teststatistik berechnen Sie aus Ihren Daten. Den kritischen Wert lesen Sie für Ihr Signifikanzniveau in einer Tabelle ab, deshalb heißt er auch Tabellenwert, oder Sie lassen ihn von einer Software berechnen. Dann vergleichen Sie die beiden. Beim zweiseitigen z- oder t-Test heißt das: Ist der Betrag des empirischen Werts größer als der positive kritische Wert, liegt Ihr Wert im Ablehnungsbereich. Was der p-Wert dabei aussagt, erklärt der Beitrag p-Wert und Signifikanz.
Aber warum eine Verteilung, warum eine Tabelle, warum gerade 5 %? Dafür muss man an den Anfang zurück.
Wo fängt alles an? Die Glockenkurve
Am Anfang steht eine Beobachtung: Viele Merkmale verteilen sich ungefähr glockenförmig. Carl Friedrich Gauß beschrieb diese Glockenkurve. Später zeigten Mathematiker, unter ihnen Jarl Waldemar Lindeberg und Paul Lévy, warum Summen und Mittelwerte vieler kleiner zufälliger Einflüsse unter bestimmten Bedingungen ungefähr so verteilt sind. Diese Aussage heißt zentraler Grenzwertsatz.
Die Werte verteilen sich um den Mittelwert der Grundgesamtheit, geschrieben μ (sprich: mü). Dort hat die Glocke ihren Gipfel, Werte in seiner Nähe kommen am häufigsten vor. Je weiter eine Beobachtung nach links oder rechts von ihm entfernt ist, desto seltener kommt sie vor. Diese Verteilung heißt Normalverteilung.
Was heißt hier zufällig? Nicht, dass es keine Ursachen gibt. Auf das, was Sie beobachten, wirken viele kleine Einflüsse, und keiner davon gibt allein den Ausschlag. Dann entsteht oft eine Glocke. Zwingend ist das nicht: Zufällige Werte können auch ganz anders verteilt sein.
Zwei Beispiele. Das erste ist die Größe von Damenschuhen. Nehmen wir an, die gängigste liegt bei 38, 39. Größe 42 gibt es auch, aber viel seltener. Auch 35 gibt es, im Vergleich zu 38 ist sie aber selten.
Das zweite ist das Gewicht von Kaffeepackungen à 500 g, wie sie vom Band kommen. Die Maschine füllt fast genau ab. Die meisten Packungen wiegen knapp um 500 g, einzelne ein paar Gramm mehr oder weniger. Und je weiter weg von 500 g, desto seltener kommt so eine Packung vor. Sagen wir, fast alle wiegen zwischen 495 und 505 g.
Beide Kurven haben dieselbe Glockenform, aber jede steht auf ihrer eigenen Skala.

Warum 5 %? Eine Konvention, aus der 1,96 folgt
Das Gute an der Normalverteilung: Über sie kann man etwas Festes sagen. Wie stark die Werte um den Mittelwert streuen, misst die Standardabweichung σ (sigma). Von μ − σ bis μ + σ liegen ungefähr 68 % aller Werte. Bei genau zwei σ sind es etwa 95,45 %. Deshalb hört man oft vereinfacht: zwei σ, 95 %.
Ein zweiseitiger Test arbeitet meist mit den magischen 5 %. Magisch sind sie allerdings nicht, sie sind eine Konvention: Man hat sich darauf geeinigt, die äußersten 5 % der Werte als selten zu behandeln, 2,5 % links und 2,5 % rechts. Aus dieser Wahl folgt die Grenze. Damit genau 95 % in der Mitte liegen, muss man vom Mittelwert 1,96 σ nach jeder Seite gehen, also fast zwei. Je nach Frage dürfen Sie strenger sein, dann rückt die Grenze weiter nach außen. Fällt ein beobachteter Wert in einen dieser Ränder, heißt das: Gäbe es keinen Effekt, wäre so ein Wert selten. Mehr nicht. Wie wahrscheinlich ein Effekt ist, sagt das nicht, und der Zufall ist damit auch nicht ausgeschlossen: Auch ohne Effekt landet ein Wert in 5 % der Fälle dort.

So lässt sich jeder beobachtete Wert gegen seine Verteilung prüfen. Nur steht jede Glocke auf ihrer eigenen Skala, und man bräuchte für jedes Merkmal mit seinem Mittelwert und seiner Standardabweichung eine eigene Tabelle. Für die Praxis ist das äußerst unpraktisch. Dazu kommt ein zweites Problem: Die Standardabweichung der Grundgesamtheit kennt man meist gar nicht. Das löst erst der t-Test, mehr dazu weiter unten.
Wie bringt man alle Glockenkurven auf eine?
Die Idee ist einfach. Die Normalverteilungen sind ohnehin alle gleich gebaut, nur Mittelwert und Standardabweichung unterscheiden sich. Dann kann man jede auf eine einzige umrechnen, die Standardnormalverteilung, mit dem Mittelwert 0 und der Standardabweichung 1. Für sie lässt sich ganz genau ermitteln, wie wahrscheinlich ein Wert bis zu einer bestimmten Stelle ist, wenn nur der Zufall wirkt. Das steht in einer Tabelle, und diese eine Tabelle reicht für jede normalverteilte Größe, deren Mittelwert und Standardabweichung Sie kennen.
Wie kommt man von den eigenen Daten zu dieser Kurve? Angenommen, Sie haben Damenschuhgrößen gemessen. Auf der waagerechten Achse stehen die möglichen Werte, auf der senkrechten ihre Häufigkeiten. Nehmen wir an, Ihre Beobachtungen bilden ungefähr eine Normalverteilung mit einem Mittelwert μ. Diese überführen Sie in zwei Schritten in die Standardnormalverteilung.
Erstens muss der Mittelwert auf null rücken. Dafür ziehen Sie von jedem Wert x den Mittelwert μ ab. Zweitens muss die Standardabweichung gleich eins werden. Dafür teilen Sie den Unterschied zwischen x und μ durch die Standardabweichung σ:
Dabei ist x ein einzelner Wert, μ der Mittelwert der Verteilung, σ ihre Standardabweichung. Das Ergebnis heißt z-Wert, die Umrechnung z-Transformation. Der z-Wert sagt, wie viele Standardabweichungen x vom Mittelwert entfernt liegt. Ist x normalverteilt, finden Sie Ihr x auf der Standardnormalverteilung genau an der Stelle z wieder.

Was fängt man damit an? Sagen wir, Ihre Schuhgrößen haben den Mittelwert μ = 38,5 und die Standardabweichung σ = 1,2. Sie interessieren sich für die Größe 39,1. Sie rechnen sie in die Standardnormalverteilung um: z = (39,1 − 38,5) / 1,2 = 0,50. Dort lesen Sie mit Hilfe der kumulativen Verteilungsfunktion ab, wie wahrscheinlich es ist, diesen Wert oder einen kleineren rein zufällig zu messen: etwa 69 %, also rund 70 %. Weil die Fläche links von 39,1 unter Ihrer Glocke genauso groß ist wie die Fläche links von 0,50 unter der Standardnormalverteilung, gelten die 69 % genauso für Größe 39,1: Etwa 69 % der Schuhgrößen sind kleiner. Eine ziemlich einfache Idee, nicht wahr?

Was ändert sich, wenn man einen Mittelwert prüft?
Äußerst selten interessiert die Wahrscheinlichkeit einer einzelnen Beobachtung. Meist geht es um den Mittelwert: Entspricht er in der Grundgesamtheit einem vorgegebenen Wert?
Sie haben eine Stichprobe. Zusammengefasst wird sie durch ihren Mittelwert x̄ (sprich: x quer): jeder Wert mit seiner Häufigkeit multipliziert, alles addiert und durch die Anzahl der Werte geteilt. x̄ schätzt den Mittelwert μ der Grundgesamtheit. Er muss nicht der häufigste Wert sein und beschreibt auch nicht die ganze Verteilung. Für den Test zählt etwas anderes: Wäre ein Mittelwert wie Ihrer selten, wenn die Nullhypothese stimmt, spricht das gegen sie.
Das klassische Beispiel: Ist der Mittelwert der Damenschuhgrößen tatsächlich 38? Dafür standardisieren Sie diesmal den Mittelwert x̄. Ist 38 der wahre Mittelwert und ziehen Sie 38 ab, müssten Sie im Punkt null landen oder in seiner Nähe. Landen Sie irgendwo an der Seite, prüfen Sie, ob ein solcher Abstand unter H0 noch gut möglich ist. Im allgemeinen Fall steht statt 38 die Zahl μ0 (sprich: mü null), der Wert, den Sie als Mittelwert vermuten.
Jetzt geht es nicht mehr um die Verteilung der einzelnen Schuhgrößen, sondern um die Verteilung des Mittelwerts. Würden Sie viele Stichproben ziehen, bekämen Sie viele Mittelwerte, und die bilden ihre eigene Glocke. Hier greift der zentrale Grenzwertsatz: Bei unabhängigen Beobachtungen aus derselben Verteilung mit endlicher Varianz ist der Mittelwert großer Stichproben ungefähr normalverteilt, auch wenn die einzelnen Werte es nicht sind.
Ein Mittelwert schwankt aber weniger als ein einzelner Wert. Sind die Beobachtungen unabhängig, ist seine Standardabweichung die Standardabweichung der Grundgesamtheit geteilt durch die Wurzel aus n, der Zahl der Punkte, die den Mittelwert gebildet haben:
Dabei ist x̄ der Mittelwert der Stichprobe, μ0 der Wert der Nullhypothese (im Beispiel 38), σ2 die Varianz, also das Quadrat der Standardabweichung, und n die Zahl der Beobachtungen. Genau gilt diese Rechnung, wenn die Beobachtungen unabhängig und normalverteilt sind. Bei großen Stichproben reicht sie oft als Näherung.
Liegt Ihr Wert in der Mitte oder im Rand?
Stimmt H0, folgt dieser z-Wert also der Standardnormalverteilung, bei normalverteilten Beobachtungen genau, sonst ungefähr. Schauen wir, wo er dort landet. Landet er bei null, ist die Wahrscheinlichkeit, diesen Wert oder einen kleineren zu messen, 50 %, die Gegenwahrscheinlichkeit ebenfalls 50 %. Die Nullhypothese können Sie nicht ablehnen, das Ergebnis ist unter H0 gut möglich. Es fehlt nur der Grund, sie zu verwerfen.
Bis zu einer Standardabweichung liegen Sie innerhalb der 68 %, bis 1,96 Standardabweichungen innerhalb der 95 %. Einen Wert, der so weit oder weiter von null entfernt ist, bekommen Sie, wenn H0 stimmt, mit mehr als 5 % Wahrscheinlichkeit.
Erst im Rand, in den 2,5 % rechts oder links, ändert sich das Bild. Nehmen Sie einen z-Wert von 2,1. Er liegt genauso weit vom Mittelwert entfernt wie −2,1, und weil die Glocke symmetrisch ist, ist es nach rechts genauso wahrscheinlich, so weit oder noch weiter abzuweichen, wie nach links. Beide Seiten zusammengenommen bekommen Sie einen so weit oder noch weiter entfernten Wert, wenn H0 stimmt, nur mit etwa 3,6 % Wahrscheinlichkeit, also mit weniger als 5 %. Damit fällt Ihr Wert in den Ablehnungsbereich, und Sie lehnen H0 ab, im Beispiel also die Hypothese, dass der wahre Mittelwert der Damenschuhgrößen 38 ist. So funktioniert der Grundgedanke des z-Tests.

Auf denselben 95 % beruht das Konfidenzintervall. Die Standardabweichung des Mittelwerts, σ/√n, kennen Sie schon von oben. Sie heißt Standardfehler, und das Konfidenzintervall ist der Bereich von ±1,96 Standardfehlern um den Mittelwert. Mehr dazu im Beitrag Konfidenzintervall berechnen und richtig interpretieren.
Warum braucht man das t und die Freiheitsgrade?
Beim z-Test gibt es eine Kleinigkeit, aber eine wichtige. Das σ in der Formel steht für die Standardabweichung der Grundgesamtheit. Und die ist für die meisten Zufallsgrößen verdammt schwierig zu kennen. Sie messen eine beschränkte Zahl von Punkten und schätzen σ aus der Standardabweichung der Stichprobe, kurz s, also daraus, wie Ihre gemessenen Punkte streuen.
Setzt man s an die Stelle von σ, folgt der Wert nicht mehr genau der Standardnormalverteilung. Er bekommt deshalb einen eigenen Namen: t. Seine Verteilung hat William Sealy Gosset untersucht. Er veröffentlichte unter dem Pseudonym Student, daher der Name Student-t-Verteilung.
Die Buchstaben sind dieselben wie bei z, nur steht s2, die Varianz der Stichprobe, an der Stelle von σ2. Berechnet wird sie mit n − 1 im Nenner. Warum, zeigen gleich die Freiheitsgrade. Genau gilt die t-Verteilung, wenn die Beobachtungen unabhängig und normalverteilt sind.
Auch der t-Wert folgt einer Glockenkurve, aber sie ist breiter, weil die Datengrundlage dünner ist. Größere Abweichungen und Extremwerte werden wahrscheinlicher. Je mehr Beobachtungen Sie haben, desto genauer wird Ihre Schätzung und desto schmaler die Verteilung. Strebt n gegen unendlich, nähert sie sich immer mehr der Standardnormalverteilung.

Das hat mit den Freiheitsgraden zu tun.
Was sind Freiheitsgrade?
Schauen Sie noch einmal auf den Mittelwert. Nehmen wir an, Sie haben drei Beobachtungen:
Der Mittelwert beträgt 10. Wie viele von x1, x2 und x3 können völlig frei sein, wenn am Ende 10 herauskommen soll? Es stellt sich heraus: nur zwei von drei.
x1 kann jede beliebige Zahl sein, zum Beispiel 5. Auch x2 kann jede beliebige Zahl sein, sagen wir 15. Dann aber darf x3 nicht mehr frei variieren. Damit 10 herauskommt, muss es genau 10 sein: 30 durch 3 gleich 10. Mit jeder anderen Zahl stimmt die Gleichung nicht mehr.

Frei variieren können also nur 3 minus 1 Werte. Bei vier Werten wären es drei, bei fünf vier, und so weiter. Deshalb gilt beim t-Test für eine Stichprobe:
df steht für die Freiheitsgrade (englisch degrees of freedom), n für die Zahl der Beobachtungen. Mit wachsendem n wächst df, und s schätzt die wahre Streuung σ immer genauer. Bei vielen Freiheitsgraden nähert sich die t-Verteilung deshalb der Normalverteilung. Beim gepaarten t-Test, den Sie weiter unten kennenlernen, ist es genauso, dort zählt n die Paare. Bei zwei unabhängigen Gruppen sind es n1 + n2 − 2, jedenfalls in der klassischen Form, die in beiden Gruppen gleich starke Streuung annimmt. Der Welch-t-Test, den viele heute empfehlen, rechnet die Freiheitsgrade anders.
Wie liest man die Tabelle und entscheidet?
Weil die t-Verteilung von den Freiheitsgraden abhängt, hat die t-Tabelle zwei Dimensionen. In den Spalten steht die Wahrscheinlichkeit, meist als Fehlerwahrscheinlichkeit, also als Signifikanzniveau. In den Zeilen steht die Zahl der Freiheitsgrade: für zwei Messpunkte 1, für drei 2, und so weiter.
Das Signifikanzniveau haben Sie vor der Auswertung festgelegt, zum Beispiel 0,05. Nun haben Sie Ihren t-Wert berechnet und bestimmen die Freiheitsgrade, die zu ihm geführt haben. Dann suchen Sie die Zelle, in der sich die Spalte für 5 % und die Zeile für Ihre Freiheitsgrade kreuzen. Dort steht der kritische Wert.
Ein Beispiel mit Zahlen. Sie haben neun Messwerte, also 8 Freiheitsgrade. Bei 8 Freiheitsgraden steht in der Tabelle für 5 %, zweiseitig, der Wert 2,306, gerundet 2,3. Achten Sie dabei auf die Spaltenköpfe: Viele Tabellen haben getrennte Spalten für den einseitigen und den zweiseitigen Test. Einseitig läge der kritische Wert für 5 % bei 8 Freiheitsgraden bei 1,860. Wir rechnen hier zweiseitig. Ihr empirischer t-Wert ist, sagen wir, 2,4.
Auf der Kurve heißt das: Bei der Standardnormalverteilung beginnt der Ablehnungsbereich für 5 % zweiseitig bei ±1,96. Weil die t-Verteilung mit 8 Freiheitsgraden breiter ist, beginnt er bei ihr weiter außen, bei ±2,306. Ihr Wert 2,4 liegt darüber, also im Ablehnungsbereich. Der p-Wert ist kleiner als 0,05, und Sie lehnen H0 ab. Das ist der Grundgedanke hinter dem kritischen Wert. Eines sagt der p-Wert dabei aber nicht: wie wahrscheinlich Ihre Entscheidung falsch ist. Er sagt, wie selten ein so extremer oder noch extremerer Wert wäre, wenn H0 stimmt.

Es geht auch andersherum. Sie vergleichen in der Zeile Ihrer Freiheitsgrade die Werte so lange mit Ihrem empirischen Wert, bis er überstiegen wird. Beim letzten Wert, der noch kleiner ist, ziehen Sie die Linie nach oben und lesen ab, welchem Signifikanzniveau er entspricht. Im Beispiel ist das 2,306 bei 5 %. Der nächste Wert, 2,896 bei 2 %, ist schon größer als 2,4. Ihr Wert ist also auf dem Niveau von 5 % signifikant, auf dem von 2 % nicht. Der p-Wert liegt zwischen 0,02 und 0,05. Eine Software rechnet ihn genau aus. Hier sind es 0,043, also tatsächlich ein Wert in diesem Bereich. Wie man ihn liest, zeigt der Abschnitt So lesen Sie ein Testergebnis.
t-Test, Chi-Quadrat, Varianzanalyse, Regression: dieselbe Idee
Der t-Test in drei Varianten
Es gibt drei häufige Varianten des t-Tests. Die erste haben Sie gerade gesehen: Sie prüft, ob ein Mittelwert einer bestimmten Zahl gleich ist, etwa ob die mittlere Damenschuhgröße in der Grundgesamtheit 38 ist. Oft prüft man auch, ob ein Mittelwert in der Grundgesamtheit von null verschieden ist. Dann ist μ0 = 0, und die Rechnung wird einfacher: t = x̄ / √(s2/n). Fällt dieser Wert in den Ablehnungsbereich, sprechen die Daten gegen einen Mittelwert von null. Ob der Einfluss, den Sie vermuten, auch die Ursache ist, sagt der Test allein nicht. Das hängt davon ab, wie Ihre Studie angelegt ist.
Zwei Gruppen. Die zweite Variante, der Zwei-Stichproben-t-Test, prüft anhand zweier unabhängiger Stichproben, ob sich die Mittelwerte der beiden Grundgesamtheiten unterscheiden. Oft wird das an Männern und Frauen erklärt: Verhalten sie sich im Blick auf ein Phänomen gleich oder nicht? Kaufen sie etwa unterschiedlich viele, sagen wir, Würstchen, Brötchen oder Birnen? In der Meinungsforschung vergleicht man so die Meinungen verschiedener Gruppen. Die Nullhypothese lautet μ1 = μ2: Die Mittelwerte sind in der Grundgesamtheit gleich, und der Unterschied zwischen Ihren Stichprobenmittelwerten x̄1 und x̄2 ist zufällig entstanden.

Das Schema bleibt. Im Zähler steht jetzt die Differenz der beiden Mittelwerte. Wollen Sie prüfen, ob sie einer vorher festgelegten Zahl W0 entspricht, ziehen Sie W0 noch ab: x̄1 − x̄2 − W0. Im Nenner steht der geschätzte Standardfehler der Differenz, also wie stark die Differenz zufällig schwankt. Er sorgt wie bei z für die Standardisierung, nur kommen diesmal zwei unabhängige Stichproben zusammen, jede mit eigener Größe und eigener Streuung. Die klassische Formel nimmt an, dass die Varianz in beiden Grundgesamtheiten gleich ist, und führt die beiden Varianzen, gewichtet mit ihren Freiheitsgraden, zu einer gemeinsamen zusammen. Viele Fachleute empfehlen heute, gleich den Welch-t-Test zu nehmen, weil er keine gleichen Streuungen in beiden Gruppen voraussetzt. Am einfachsten zeigt aber die gepoolte Formel, wie der Test gebaut ist. Merken müssen Sie sich die Formel nicht:
Dabei sind x̄1 und x̄2 die Mittelwerte der Gruppen, n1 und n2 ihre Größen, s12 und s22 ihre Varianzen und sp2 die gemeinsame Varianz beider Gruppen.
Vorher und nachher. Die dritte Variante ist der gepaarte t-Test. Hier misst man bei denselben Personen davor und danach. Ein typisches Beispiel: Sind Testpersonen nach einem Treatment im Experiment anders als zuvor? Hat ein Heilmittel geholfen, gemessen am Wohlbefinden? Gerechnet wird mit der Differenz zwischen beiden Messungen. Normiert wird wie in der ersten Variante, weil es wieder nur eine Stichprobe gibt:
Dabei ist d̄ der Mittelwert der Differenzen, W0 die Differenz, die Sie vermuten, sd2 die Varianz der Differenzen und n die Zahl der Personen, also der Paare. Meist ist W0 = 0. Dann lautet H0: In der Grundgesamtheit gibt es im Mittel keine Differenz. Und selbst wenn Sie H0 ablehnen: Ohne Vergleichsgruppe steht nicht fest, dass das Heilmittel die Ursache war. Vielleicht hat einfach die Zeit gewirkt. Oder auffällig schlechte Werte haben sich beim zweiten Messen von selbst der Mitte genähert. Das nennt man Regression zur Mitte.
So viel zum t-Test. Und die Faustregel «zwei σ, 95 %»? Beim zweiseitigen z-Test mit α = 0,05 liegen die Grenzen bei ±1,96. Beim t-Test hängen sie von den Freiheitsgraden ab und liegen bei wenigen Freiheitsgraden deutlich weiter außen, bei 8 Freiheitsgraden zum Beispiel bei ±2,306. Wie man den t-Test mit eigenen Daten rechnet, zeigt der Beitrag Der t-Test.
Der Chi-Quadrat-Test
Der Chi-Quadrat-Test prüft nominale Daten, also solche, die keine Rangordnung bilden, sondern nur bezeichnen: Farben wie Rot, Blau und Grün, das Geschlecht, Automarken wie Mercedes-Benz, Audi oder Volkswagen, Modelle von Uhren oder Flugzeugen, Typen von Unternehmen.
Es gibt ihn in zwei Formen, die dieselbe Formel nutzen. Der Anpassungstest prüft, ob eine beobachtete Verteilung einer erwarteten entspricht. Sie erwarten zum Beispiel für drei Produkte A, B und C eine bestimmte Verteilung der Häufigkeiten und beobachten eine etwas andere. Ist der Unterschied noch Zufall? Der Unabhängigkeitstest prüft, ob zwei Merkmale zusammenhängen, und um ihn geht es in unserem Beispiel.
Dafür arbeitet man mit einer Kontingenz- oder Kreuztabelle. In den Zeilen stehen zum Beispiel Männer und Frauen, in den Spalten, ob sie viel oder wenig kaufen. In jeder Zelle stehen der beobachtete Wert und der Erwartungswert, berechnet unter der Annahme, dass die beiden Merkmale unabhängig sind. Beobachtet haben Sie, sagen wir, 30 Männer, die viel kaufen, und 20, die wenig kaufen, dazu 10 Frauen, die viel kaufen, und 40, die wenig kaufen. Ohne Zusammenhang würden Sie bei Männern wie bei Frauen 20 und 30 erwarten. Wie man die erwarteten Werte bildet, zeigt der Beitrag zur Kreuztabelle.
Die Teststatistik ist die Summe der Differenzen zwischen Sollwert, also Erwartungswert, und tatsächlichem Wert. Damit sich die Differenzen nicht gegenseitig auslöschen, wird jede quadriert. Zum Normalisieren wird sie durch den erwarteten Wert geteilt. Das machen Sie für jede Zelle und addieren alles auf:
Dabei ist Wemp die beobachtete Häufigkeit einer Zelle, Werw die unter H0 erwartete, bei der Kreuztabelle also die, die man erwartet, wenn die Merkmale unabhängig sind. Σ heißt: über alle Zellen addieren. Die χ2-Verteilung gilt hier nur näherungsweise, und auch das nur bei unabhängigen Beobachtungen und nicht zu kleinen erwarteten Häufigkeiten. Bei dünn besetzten Tabellen nimmt man deshalb exakte Verfahren.
Neu ist die Form der Verteilung. Weil Sie mit quadrierten Werten arbeiten, ist der negative Bereich für Chi-Quadrat nicht zugänglich. Die Verteilung beginnt bei null und ist schief. Wie beim t hängt ihre Form von den Freiheitsgraden ab, bei der Kreuztabelle (Zeilen − 1) · (Spalten − 1). Mit mehr Freiheitsgraden wird die Kurve weniger schief, und ihr Gipfel rückt nach rechts. Sonst ist es dieselbe Idee wie überall.
Rechnen wir das Beispiel zu Ende. Männer, die viel kaufen: (20 − 30)² / 20 = 5. Männer, die wenig kaufen: (30 − 20)² / 30 ≈ 3,33. Frauen, die viel kaufen: (20 − 10)² / 20 = 5. Frauen, die wenig kaufen: (30 − 40)² / 30 ≈ 3,33. Zusammen:
Die Tabelle hat zwei Zeilen und zwei Spalten, also df = (2 − 1) · (2 − 1) = 1. Der kritische Wert für 5 % liegt bei einem Freiheitsgrad bei 3,84. Ihr Wert 16,7 liegt weit darüber, und Sie lehnen H0 ab, also die Annahme, dass Geschlecht und Kaufmenge nicht zusammenhängen. Mehr im Beitrag Der Chi-Quadrat-Test.

Die Varianzanalyse
Bei der Varianzanalyse beobachten Sie ein Phänomen in mehreren Gruppen, sagen wir in vier, und fragen, ob sich ihre Mittelwerte signifikant unterscheiden. Die Nullhypothese lautet:
Der t-Test vergleicht nur zwei Gruppen, hier geht es darum, ob insgesamt alle gleich sind. Die Alternativhypothese H1 lautet: Nicht alle sind gleich. Dafür reicht es schon, dass eine einzige Gruppe aus der Reihe tanzt. Ob Ihre Daten das zeigen, entscheidet der F-Test.
Zuerst bildet man in jeder Gruppe ihren Mittelwert. Dann nimmt man alle Daten zusammen, ohne Aufteilung in Gruppen, und berechnet den Gesamtmittelwert. So gibt es zwei Arten von Abweichung: wie weit jede Beobachtung vom Mittelwert ihrer Gruppe abweicht und wie weit dieselben Punkte vom Gesamtmittelwert abweichen.



Was Sie wissen wollen: Ist die Streuung innerhalb der Gruppen deutlich kleiner als die Gesamtstreuung? Dann ergibt es Sinn, die Daten in die Gruppen zu trennen. Und dann spricht viel dafür, dass das Merkmal, nach dem Sie aufgeteilt haben, mit dem gemessenen Wert zusammenhängt. Ob es auch die Ursache ist, zeigt der Test allein nicht, das hängt vom Aufbau der Studie ab.
Für die Teststatistik zerlegt man die Gesamtstreuung. Abbildung 14 legt alles übereinander. Für jeden Punkt gilt: rot = schwarz + türkis. Rot führt vom Gesamtmittelwert zum Punkt. Schwarz führt vom Gesamtmittelwert zum Mittelwert seiner Gruppe, das ist der Unterschied zwischen den Gruppen. Türkis führt vom Gruppenmittelwert zum Punkt, das ist die Abweichung innerhalb der Gruppe. Nach oben zählt ein Stück plus, nach unten minus. Darum kann Rot auch kürzer sein als Schwarz, etwa wenn die Gruppe über dem Gesamtmittelwert liegt, der Punkt aber unter seiner Gruppe.

Streuung heißt hier: Summe der quadrierten Abweichungen, kurz Quadratsumme. Und für diese Quadratsummen, über alle Punkte addiert, gilt dieselbe Zerlegung:
Die Streuung zwischen den Gruppen ist der Teil, den die Aufteilung erklärt. Die Streuung innerhalb bleibt übrig. F setzt diese beiden ins Verhältnis, jede durch ihre Freiheitsgrade geteilt:
df1 ist die Zahl der Gruppen minus 1, df2 die Zahl aller Beobachtungen minus die Zahl der Gruppen. Sind die türkisen Strecken viel kürzer als die roten, ist die Streuung zwischen den Gruppen groß im Verhältnis zur Streuung innerhalb. Bleibt das Verhältnis auch dann noch groß, wenn beide durch ihre Freiheitsgrade geteilt sind, wird F groß. Der klassische F-Test setzt voraus, dass die Beobachtungen unabhängig sind und in jeder Gruppe ungefähr normalverteilt und gleich stark streuen.
Weil F zwei Freiheitsgrade hat, ist seine Tabelle anders gebaut: In der einen Richtung stehen die Freiheitsgrade des Zählers, in der anderen die des Nenners, und für jedes Signifikanzniveau gibt es eine eigene F-Tabelle. Die Idee ist absolut die gleiche, nur die Teststatistik ist etwas anders.
Dazu gehört ein zweiter Schritt. Ist der F-Test signifikant, weiß man nur: Nicht alle Mittelwerte sind gleich. Welche Gruppen sich unterscheiden, zeigen anschließende Vergleiche, sogenannte Post-hoc-Tests. Weil man dabei mehrere Paare auf einmal testet, muss man für das mehrfache Testen korrigieren. Sonst findet man zu oft Unterschiede, die nur Zufall sind.
Die Regression
Bei der Regressionsanalyse legen Sie durch eine Punktewolke eine Linie. Wir bleiben hier bei der Geraden, also bei einer erklärenden Variablen. Mit mehreren funktioniert der Test genauso. Die Gerade wird so gelegt, dass die quadrierten senkrechten Abstände der Punkte von ihr zusammen möglichst klein sind, nach der Methode der kleinsten Quadrate. Auch hier zerlegt sich die Abweichung. Die Gesamtabweichung läuft vom Gesamtmittelwert zum Messpunkt. Die erklärte Abweichung ist das Stück vom Gesamtmittelwert bis zur Geraden. Die nicht erklärte läuft von der Geraden bis zum Punkt. Mit ihren Vorzeichen addiert ergeben die beiden die Gesamtabweichung.

Um die Regressionsfunktion zu prüfen, fragt man: Erklärt die Linie so viel mehr Abweichung als der Mittelwert allein, dass so ein Vorsprung selten wäre, wenn H0 stimmt? Dafür bildet man wieder ein F, die erklärte Quadratsumme durch die nicht erklärte, beide durch ihre Freiheitsgrade geteilt:
df1 ist die Zahl der erklärenden Variablen, der sogenannten Regressoren, df2 die Zahl der Beobachtungen minus die Zahl der Regressoren minus 1. Die Nullhypothese lautet: Alle Steigungen sind null, die Gerade erklärt nichts. Mit der F-Tabelle stellen Sie wie bei der Varianzanalyse fest, ob F dafür zu groß ist. Falls ja, hat die Regression etwas gebracht: Sie erklärt mehr als der Mittelwert allein. Ob sie auch neue Daten gut vorhersagt, muss man allerdings gesondert prüfen. Falls nicht, reichen Ihre Daten nicht aus, um H0 auf Ihrem Signifikanzniveau abzulehnen. Dass die Gerade nichts erklärt, folgt daraus aber nicht. Auch dieser F-Test hat Voraussetzungen. Sie betreffen die Abstände der Punkte zur wahren Geraden der Grundgesamtheit, die sogenannten Fehler: Sie sollen unabhängig und normalverteilt sein, im Mittel null betragen und überall gleich stark streuen.
Die einzelnen Regressoren prüft man mit eigenen t-Tests, einem je Koeffizient. Der vermutete Effekt steckt in ihrer Steigung, und der t-Test fragt, ob sie von null verschieden ist. Diese t-Tests beantworten eine andere Frage als der F-Test und setzen nicht voraus, dass er signifikant ist.
Was haben alle Tests gemeinsam?
Hinter allen vier Tests steht dieselbe Frage: Wie gut lässt sich das, was wir in den Daten sehen, durch Zufall allein erklären? Beantwortet wird sie immer in denselben Schritten.
Erstens stellen alle Tests ihre Hypothesen gleich auf. Geprüft wird nicht Ihre Vermutung H1, sondern das Gegenteil davon, die Nullhypothese H0. Warum, haben wir am Anfang gesehen: Für «kein Effekt» lässt sich ausrechnen, welche Werte durch Zufall zu erwarten wären. Und seltene Ergebnisse sprechen gegen H0, wie der schwarze Schwan gegen die weißen, nur ohne letzte Sicherheit.
Zweitens berechnen alle Tests aus den Daten einen Wert, die Teststatistik: z, t, χ2 oder F. Sie misst, wie weit die Daten von dem abweichen, was H0 erwarten lässt, gemessen an dem, was der Zufall allein an Abweichung hergibt.
Drittens vergleichen alle diesen Wert mit einem kritischen Wert. Den muss man nicht erfinden. Er folgt aus der Verteilung, die die Teststatistik hat, wenn H0 stimmt, und aus dem vorher gewählten Signifikanzniveau. Jede Teststatistik hat ihre eigene Verteilung, bei t, χ2 und F kommen Freiheitsgrade dazu. Deshalb gibt es vier Tabellen, aber nur eine Art, sie zu lesen. Alle vier Verteilungen lassen sich übrigens aus der Standardnormalverteilung herleiten, mit der dieser Beitrag begonnen hat.
Viertens folgt die Entscheidung. Liegt Ihr Wert jenseits des kritischen Werts, lehnen Sie H0 ab. Sonst behalten Sie H0 bei, ohne sie damit bewiesen zu haben.
Nebeneinandergestellt sieht man es am besten:
Eine Idee, vier Tests
| Test | Was wird verglichen? | Teststatistik | Verteilung, wenn H0 stimmt | Freiheitsgrade | Beispiel im Beitrag |
|---|---|---|---|---|---|
| Testz-Test | ein Mittelwert mit einem vermuteten Wert, σ bekannt | z = Abstand / Standardfehler | Standardnormalverteilung | keine | Damenschuhe: Ist der Mittelwert 38? |
| Testt-Test | ein Mittelwert mit einem vermuteten Wert oder zwei Mittelwerte, σ geschätzt | t = Abstand / geschätzter Standardfehler | t-Verteilung | n − 1, bei zwei Gruppen n1 + n2 − 2 (Welch: angepasst) | t = 2,4 bei 8 Freiheitsgraden, p = 0,043 |
| TestChi-Quadrat-Test | beobachtete mit erwarteten Häufigkeiten | χ2 = Summe der quadrierten Abstände, je geteilt durch den erwarteten Wert | χ2-Verteilung | beim Unabhängigkeitstest (Zeilen − 1) · (Spalten − 1) | Männer und Frauen, viel und wenig: χ2 ≈ 16,7 bei 1 Freiheitsgrad |
| TestVarianzanalyse (F) | Streuung zwischen den Gruppen mit Streuung innerhalb der Gruppen | F = Verhältnis der beiden, je durch ihre Freiheitsgrade geteilt | F-Verteilung | Gruppen − 1 und Beobachtungen − Gruppen | vier Gruppen |
| TestRegression (F) | erklärte mit nicht erklärter Streuung | F = Verhältnis der beiden, je durch ihre Freiheitsgrade geteilt | F-Verteilung | erklärende Variablen und Beobachtungen − erklärende Variablen − 1 | Regressionsgerade durch die Punktewolke |
Für Ihre nächste Auswertung heißt das: Ob im Bericht t, χ2 oder F steht, die Frage dahinter ist immer dieselbe. Wie wahrscheinlich wäre ein so extremer Wert, wenn es keinen Effekt gäbe? Welcher Test zu Ihren Daten passt, klärt der Wegweiser Welcher statistische Test passt?.
So lesen Sie ein Testergebnis
In der Praxis rechnet ein Programm, etwa SPSS oder R. Den p-Wert finden Sie dort meist in der Spalte «Sig.» oder «p». Beim t-Test zeigen neuere SPSS-Versionen ein einseitiges und ein zweiseitiges p. Haben Sie vorher keine Richtung festgelegt, lesen Sie das zweiseitige. Beim t-Test für zwei Gruppen zeigt SPSS zwei Zeilen: eine mit angenommener Varianzgleichheit und eine ohne. Lesen Sie die Zeile ohne angenommene Varianzgleichheit, sie entspricht dem Welch-t-Test.
So schreiben Sie es auf. Zum Ergebnis gehören die Teststatistik und der p-Wert, bei t, χ2 und F auch die Freiheitsgrade. Für das Beispiel aus diesem Beitrag, 8 Freiheitsgrade und temp = 2,4, heißt das: «t(8) = 2,40; p = 0,043». Nennen Sie dazu immer die Mittelwerte, beim Vergleich mit einem vorgegebenen Wert also x̄ und μ0, bei zwei Gruppen beide Gruppenmittelwerte. Erst sie zeigen, in welche Richtung und wie weit die Werte auseinanderliegen.
Signifikant heißt nicht wichtig. Bei sehr vielen Befragten kann schon ein winziger Unterschied signifikant werden, zum Beispiel 0,1 Punkte auf einer 5er-Skala, wenn zwei Gruppen von je 1.000 Befragten verglichen werden und die Antworten um etwa einen Punkt streuen. Schauen Sie deshalb immer auch auf die Größe des Unterschieds und fragen Sie, ob sie für Ihre Entscheidung zählt. Dafür gibt es eigene Kennzahlen, die Effektgrößen. Sie beschreiben, wie groß ein Unterschied ist, unabhängig davon, wie viele befragt wurden.
Nicht signifikant heißt nicht «kein Unterschied». Es heißt: Die Daten reichen nicht, um H0 abzulehnen. Vielleicht waren es zu wenige Befragte, vielleicht ist der Unterschied klein oder die Streuung groß.
Viele Tests, viele Zufallstreffer. Jeder Test kann bei 5 % auch ohne Effekt «signifikant» werden. Wer 40 Tabellen testet, muss im Mittel mit zwei «signifikanten» Ergebnissen rechnen, auch wenn es nirgends einen Effekt gibt.
p sagt nicht, wer geantwortet hat. Der p-Wert erfasst nur zufällige Schwankungen, nicht aber Verzerrungen, die entstehen, weil sich die Befragten selbst ausgewählt haben. Ob Sie vom Ergebnis auf alle schließen dürfen, hängt davon ab, wer geantwortet hat. Antwortet zum Beispiel nur ein Teil der angeschriebenen Kunden, prüfen Sie, ob sich die Antwortenden von den anderen unterscheiden könnten, etwa im Alter, in der Dauer der Kundenbeziehung oder im Umsatz. Was Sie über alle Angeschriebenen wissen, können Sie dafür mit den Antwortenden vergleichen. Finden Sie einen Unterschied, nennen Sie ihn im Bericht und lesen das Ergebnis vor allem als Aussage über die, die geantwortet haben.
Und noch einmal das Wichtigste: Der p-Wert sagt, wie selten ein so extremer oder noch extremerer Wert wäre, wenn H0 stimmt. Wie wahrscheinlich H0 oder Ihr Effekt ist, sagt er nicht. Mehr dazu im Beitrag p-Wert und Signifikanz.
Häufige Fragen zu Hypothesentests
Was ist ein Hypothesentest einfach erklärt?
Ein Hypothesentest prüft, ob ein Ergebnis aus Ihren Daten noch durch Zufall erklärbar ist. Sie vergleichen Ihre Teststatistik mit dem kritischen Wert einer bekannten Verteilung. Liegt Ihr Wert jenseits davon, lehnen Sie H0 ab, die Hypothese, dass es keinen Effekt gibt. Die Daten sprechen dann gegen H0.
Warum testet man die Nullhypothese und nicht die eigene Hypothese?
Weil H0 einen genauen Fall festlegt, meist «kein Effekt». Für diesen Fall lässt sich ausrechnen, welche Werte zu erwarten wären. Für «es gibt irgendeinen Effekt» geht das nicht, weil offen ist, wie groß er ist. Liegt Ihr Wert im äußersten Rand der Verteilung unter H0, spricht das gegen H0 und für Ihren Effekt.
Warum liegt das Signifikanzniveau meist bei 5 %?
Bei einer Normalverteilung liegen 95 % aller Werte innerhalb von 1,96 Standardabweichungen um den Mittelwert, also knapp zwei. Beim zweiseitigen z-Test mit α = 0,05 bilden die übrigen 5 %, je 2,5 % links und rechts, den Ablehnungsbereich. Auch wenn H0 stimmt, landet die Teststatistik in 5 % der Fälle dort. Die 5 % sind eine Konvention, kein Naturgesetz.
Was ist der Unterschied zwischen z-Test und t-Test?
Der z-Test setzt voraus, dass Sie die Standardabweichung der Grundgesamtheit kennen. Das ist selten. Der t-Test nimmt die Standardabweichung der Stichprobe. Seine t-Verteilung ist bei wenigen Freiheitsgraden breiter und nähert sich bei vielen der Normalverteilung an.
Quellen
Fischer, H. (2011). A History of the Central Limit Theorem. From Classical to Modern Probability Theory. New York: Springer. DOI 10.1007/978-0-387-87857-7. Geschichte des zentralen Grenzwertsatzes von Laplace über Lindeberg und Lévy.
NIST/SEMATECH (o. J.). e-Handbook of Statistical Methods, Abschnitt 1.3.5.3 „Two-Sample t-Test for Equal Means“. National Institute of Standards and Technology, itl.nist.gov, abgerufen am 15.11.2026. Darin: gepoolte Varianz und die Freiheitsgrade nach Welch bei ungleichen Varianzen.
Student (1908). The Probable Error of a Mean. Biometrika, 6(1), 1-25. DOI 10.2307/2331554. Die erste Veröffentlichung der t-Verteilung, unter dem Pseudonym von William Sealy Gosset.
Übrigens, das hier ist verwandt:
- Welcher statistische Test passt? Übersicht mit Beispielen
- Der t-Test: Mittelwerte methodisch sauber vergleichen
- p-Wert und Signifikanz: einfach erklärt, richtig gedeutet
Dr. Paul Marx
Autor: Dr. Paul Marx
Dr. Paul Marx ist Gründer und Geschäftsführer von QUESTIONSTAR und war Professor für Marketing an der Universität Siegen.
