Konfidenzintervall: berechnen, lesen, berichten

Konfidenzintervall für Anteil und Mittelwert berechnen, die 95 % richtig deuten und im Bericht korrekt angeben. Mit Rechner, Formeln und Rechenbeispielen.

Kurz gesagt: Ein Konfidenzintervall ist der Bereich um ein Stichprobenergebnis, in dem der wahre Wert der Grundgesamtheit (aller, über die Sie etwas aussagen wollen) plausibel liegt, zum Beispiel 57,2 % bis 66,8 % bei 62 % von 400 zufällig ausgewählten Befragten. Die 95 % beschreiben das Verfahren: Von sehr vielen so berechneten Intervallen enthalten etwa 95 von 100 den wahren Wert (Schumann 2019, S. 191-193). Die Rechnung setzt eine Zufallsstichprobe voraus: Der Zufall entscheidet, wer befragt wird, nicht die Befragten selbst (Jacob et al. 2019, S. 71). Was das für offene Links bedeutet und für Befragungen, zu denen alle eingeladen sind und nur ein Teil antwortet, steht unter Voraussetzungen.

So nutzen Sie den Rechner. Geben Sie die Zahl der gültigen Antworten auf eine Frage ein und entweder den Anteil in Prozent oder die Zahl der Personen, die eine bestimmte Antwort gewählt haben. Wählen Sie das Konfidenzniveau, üblich sind 95 %. Der Rechner zeigt die Fehlerspanne in Prozentpunkten, das Intervall und einen fertigen Satz für Ihren Bericht. Haben weniger als zehn Personen die Antwort gewählt oder weniger als zehn sie nicht gewählt, warnt er, weil die Rechnung dann unzuverlässig wird. Der Rechner rechnet Anteile. Für Mittelwerte stehen Formel, Rechenweg und eine Excel-Formel unter Konfidenzintervall für einen Mittelwert.

Wie weit kann ein Ergebnis vom wahren Wert entfernt sein? Fünf Fragen gehe ich dazu der Reihe nach durch:

1. Wie berechne ich das Konfidenzintervall für einen Anteil?
2. Wie berechne ich es für einen Mittelwert?
3. Was bedeuten die 95 %, und was bedeuten sie nicht?
4. Wovon hängt die Breite ab, und was tun bei kleinen Zahlen?
5. Wie schreibe ich das Intervall in den Bericht?

Das Beispiel, das uns durch den Beitrag begleitet, ist erfunden und dasselbe wie im Beitrag p-Wert und Signifikanz: Ein Onlineshop befragt 400 zufällig ausgewählte Kundinnen und Kunden, 248 davon sind mit dem Service eher oder sehr zufrieden. Das sind 62 %, die Top-2-Box dieser Frage. Ob sich zwei solche Werte unterscheiden, ist das Thema des anderen Beitrags. Hier geht es darum, wie weit Sie dem einen Wert trauen können.

Was ist ein Konfidenzintervall?

Die 62 % gelten für die 400 Befragten. Wissen will der Onlineshop aber, wie zufrieden seine gesamte Kundschaft ist. Hätte der Zufall 400 andere Personen ausgewählt, stünde im Bericht vielleicht 59 oder 65 %. Doch wie groß ist dieser Spielraum? Die Befragung dafür zu wiederholen, ist nicht nötig: Wie stark das Ergebnis von Stichprobe zu Stichprobe schwankt, lässt sich aus einer einzigen Stichprobe schätzen (Schumann 2019, S. 177). Diese Größe heißt Standardfehler. Er sagt, wie weit die Ergebnisse aller denkbaren Stichproben gleicher Größe typischerweise vom wahren Wert entfernt liegen (Malhotra und Birks 2007, S. 434). Im Beispiel sind es 2,43 Prozentpunkte.

Ein Konfidenzintervall, auch Vertrauensintervall genannt, ist ein aus der Stichprobe berechneter Bereich, in dem der wahre Wert der Grundgesamtheit plausibel liegt. Die hier berechneten Intervalle reichen von „Ergebnis minus Fehlerspanne“ bis „Ergebnis plus Fehlerspanne“. Bei den üblichen 95 % beträgt die Fehlerspanne 1,96 Standardfehler, denn bei großen Stichproben liegen etwa 95 von 100 Stichprobenergebnissen höchstens so weit vom wahren Wert entfernt. Ein so breiter Bereich um Ihr Ergebnis schließt den wahren Wert deshalb bei etwa 95 von 100 Stichproben ein (Schumann 2019, S. 191). Diese 95 % heißen Konfidenzniveau. Im Beispiel: 1,96 × 2,43 = 4,8 Prozentpunkte, also 57,2 % bis 66,8 %.

Damit lässt sich sagen, wie weit die 62 % tragen: Dass mehr als die Hälfte der Kundschaft zufrieden ist, decken die Daten. Ob es mehr als 60 % sind, bleibt offen.

Begriffe nach Schumann 2019, S. 177 und 191, und Malhotra und Birks 2007, S. 434. Zahlen: eigene Rechnung.

Wichtig ist das Wort Prozentpunkte: Gemeint ist 62 plus oder minus 4,8, nicht 4,8 % von 62.

Wie berechne ich das Konfidenzintervall für einen Anteil?

Für einen Anteil p aus n gültigen Antworten lautet die Rechnung (Schumann 2019, S. 193; Malhotra und Birks 2007, S. 440-441):

Genau das rechnet der Rechner oben. Beim Einsetzen ist wichtig:

• n ist die Zahl der gültigen Antworten auf diese Frage, nicht die Zahl der Einladungen oder der abgeschlossenen Fragebögen. Wer die Frage übersprungen oder eine Ausweichantwort wie „kann ich nicht beurteilen“ gewählt hat, zählt nicht mit.
• Bei Teilgruppen zählt die Fallzahl der Teilgruppe. Für „62 % der Stammkunden“ setzen Sie die Zahl der befragten Stammkunden ein.
• Bei Mehrfachauswahl ist jede Antwortoption ein eigener Anteil. n ist die Zahl der Personen, die die Frage beantwortet haben, nicht die Zahl der Kreuze.
• Der NPS ist kein einfacher Anteil, sondern die Differenz zweier Anteile. Der Rechner passt dafür nicht.

Die Fehlerspanne hängt vom Anteil selbst ab

In der Formel steht p × (1 − p). Dieses Produkt ist bei 50 % am größten und wird zu den Rändern hin kleiner. Bei 400 Antworten beträgt die Fehlerspanne für einen Anteil von 50 % ±4,9 Prozentpunkte, für einen von 10 % oder 90 % nur ±2,9 (eigene Rechnung, ähnlich bei Malhotra und Birks 2007, S. 432, für 385 Befragte). Die eine Fehlerspanne „der Umfrage“, die Institute üblicherweise nennen, ist die für 50 %, also die größte (AAPOR o. J., S. 1). Für alle anderen Anteile ist sie eine Obergrenze. Als Faustformel für 95 % taugt 1 / √n, bei 400 Antworten also etwa ±5 Prozentpunkte (Folie 152).

Gemessen am Wert selbst ist die Fehlerspanne kleiner Anteile aber groß: Bei 10 % ±2,9 Prozentpunkten kann der wahre Anteil fast ein Drittel kleiner oder größer sein als gemessen.

Wann die Formel nicht mehr trägt, steht unter kleine Zahlen.

Wie berechne ich das Konfidenzintervall für einen Mittelwert?

Viele Ergebnisse sind keine Anteile, sondern Mittelwerte, etwa die durchschnittliche Zufriedenheit auf einer Skala oder die durchschnittliche Wartezeit. Die Logik ist dieselbe, nur der Standardfehler wird anders berechnet. An die Stelle von √(p × (1 − p)) tritt die Standardabweichung s der Antworten (in Berichten oft SD). Sie sagt, wie weit die einzelnen Antworten typischerweise vom Mittelwert entfernt liegen: Antworten alle gleich, ist sie 0, und je unterschiedlicher die Antworten ausfallen, desto größer wird sie. Die Rechnung (Schumann 2019, S. 191-192; Malhotra und Birks 2007, S. 435):

Der Faktor t übernimmt beim Mittelwert die Rolle der 1,96. Sie müssen ihn nicht berechnen: Für jede Zahl von Antworten gibt es fertige Werte (sie stammen aus der t-Verteilung), eine Auswahl für 95 % und die Excel-Formel stehen weiter unten. Nachgeschlagen wird t unter n − 1 Freiheitsgraden. Der Name sagt, wie viele Antworten frei sind: Steht der Mittelwert von n Antworten fest, lassen sich nur n − 1 Antworten frei wählen, die letzte ergibt sich aus den übrigen. Bei wenigen Antworten ist t größer als 1,96, weil dann auch die Standardabweichung nur ungenau bekannt ist und man deshalb mehr Spielraum lässt (mehr dazu unter „t oder z“).

Von Hand rechnen müssen Sie das nicht. In Excel liefert MITTELWERT(Bereich) den Mittelwert und STABW.S(Bereich) die Standardabweichung der Stichprobe, die mit n − 1 rechnet. Die Fehlerspanne erhalten Sie direkt:

Die Funktion gibt die Fehlerspanne für 95 % zurück, gerechnet mit t und n − 1 Freiheitsgraden, nicht die Grenzen des Intervalls (Microsoft o. J.). Sie ziehen die Fehlerspanne also vom Mittelwert ab und addieren sie.

Durchgerechnet: Zufriedenheit auf einer Skala von 1 bis 5

Ob man aus fünf Antwortstufen überhaupt einen Mittelwert bilden darf, ist umstritten, beide Seiten stehen im Beitrag Skalenniveau. Wenn Sie den Mittelwert einer einzelnen Ratingfrage berichten, zeigen Sie Verteilung und Median dazu, hier also die Tabelle oben und den Median 4. Ein Konfidenzintervall macht einen Mittelwert genauer lesbar, aber nicht sinnvoller.

t oder z: Wann macht das einen Unterschied?

Genau genommen gehört beim Mittelwert immer der Wert der t-Verteilung in die Formel, nicht 1,96 (Schumann 2019, S. 192, Fn. 40). Der Grund: Die Standardabweichung ist selbst nur aus der Stichprobe geschätzt, und bei wenigen Antworten ist diese Schätzung ungenau. Die Antworten könnten in Wahrheit stärker streuen, als die Stichprobe zeigt. Für diese zusätzliche Unsicherheit lässt der größere Faktor t mehr Spielraum. Je mehr Antworten Sie haben, desto genauer ist die Standardabweichung bekannt und desto näher rückt t an 1,96. Ab 120 Antworten sind beide praktisch nicht mehr zu unterscheiden (Malhotra und Birks 2007, S. 526-527).

Eigene Rechnung, t-Verteilung mit n − 1 Freiheitsgraden. Den t-Wert für Ihre Fallzahl liefert Excel mit =T.INV.2S(0,05;n−1).

Bei kleinen Gruppen zählt der Unterschied.

Wann die Rechnung für Mittelwerte trägt

Für Mittelwerte gilt (Diez et al. o. J., Abschnitte 4.3 und 5.1):

• Unabhängige Antworten aus einer Zufallsstichprobe. Dazu mehr unter Voraussetzungen.
• Genügend Antworten. Die Mittelwerte vieler Stichproben verteilen sich annähernd normal, also in Glockenform: die meisten nah am wahren Mittelwert, nach beiden Seiten gleichmäßig immer weniger. Das gilt auch dann, wenn die einzelnen Antworten ganz anders verteilt sind. Auf dieser Form beruht die Rechnung. Als Faustregel gilt das ab etwa 30 Antworten (Bortz et al. 2010, S. 87, zitiert nach Schumann 2019, S. 176). Diese Schwelle betrifft die Form der Verteilung, die 120 von oben nur den Unterschied zwischen t und z.
• Keine starke Schiefe, keine Ausreißer. Ab etwa 30 Antworten ist mäßige Schiefe unproblematisch, bei starker Schiefe oder Ausreißern ist Vorsicht nötig (Diez et al. o. J., Abschnitt 5.1). Typisch schief sind Geldbeträge und Zeiten. Prüfen Sie dann die Verteilung und berichten Sie den Median dazu. Bei weniger als 30 Antworten auf einer Skala mit wenigen Stufen ist das Intervall eine grobe Orientierung: Für die 25 Personen im Vertrieb heißt „3,15 bis 4,05“ kaum mehr als irgendwo zwischen teils/teils und eher zufrieden.

Konfidenzintervall interpretieren: Was bedeuten die 95 %?

Das Konfidenzniveau wird oft missverstanden. Es sagt, wie oft das Verfahren trifft, mit dem Ihr Intervall berechnet wurde.

Ein Gedankenexperiment hilft. Angenommen, in der gesamten Kundschaft des Onlineshops wären genau 60 % zufrieden, und 20 Teams zögen unabhängig voneinander je eine Zufallsstichprobe von 400 Personen. Jedes Team bekäme einen etwas anderen Anteil und damit ein etwas anderes Intervall. Das Bild zeigt eine solche Simulation.

19 der 20 Intervalle enthalten den wahren Wert von 60 %, eines verfehlt ihn: Stichprobe 8 hat zufällig besonders wenige Zufriedene erwischt, 217 von 400, und ihr Intervall endet bei 59,1 %. Das Team mit Stichprobe 8 merkt davon nichts.

Die Simulation ist so gewählt, dass genau ein Intervall danebenliegt. Bei 20 Stichproben können es auch keines oder zwei sein. Auf lange Sicht, bei sehr vielen Stichproben, enthalten etwa 95 von 100 Intervallen den wahren Wert (Schumann 2019, S. 191; Diez et al. o. J., Abschnitt 4.3). Das heißt „95 % Konfidenzniveau“.

So können Sie es sich merken und sagen: Das Verfahren trifft in 95 von 100 Fällen. Wir können also zu 95 % darauf vertrauen, dass der wahre Wert zwischen 57,2 und 66,8 % liegt.

In einer wissenschaftlichen Arbeit formulieren Sie strenger: Die 95 % beschreiben die Trefferquote des Verfahrens, nicht die Wahrscheinlichkeit für dieses eine Intervall (Schumann 2019, S. 191). Der Grund dafür ist eine Unterscheidung (Schumann 2019, S. 191 mit Fn. 37):

• Vor der Befragung ist die Aussage eine Wahrscheinlichkeit: Mit 95 % Wahrscheinlichkeit wird das Intervall, das Sie erhalten, den wahren Wert umschließen.
• Nach der Befragung steht Ihr Intervall fest, und der wahre Wert ist ebenfalls eine feste, nur unbekannte Zahl. Er liegt in Ihrem Intervall oder er liegt nicht darin. Eine Wahrscheinlichkeit von 95 % lässt sich dafür streng genommen nicht mehr angeben.

Ähnlich ist es mit einem Los aus einer Trommel, in der 95 von 100 Losen gewinnen: Das gezogene Los ist bereits ein Gewinn oder eine Niete, auch wenn Sie es noch nicht geöffnet haben, und Ihr Vertrauen von 95 % stützt sich darauf, wie die Trommel gefüllt ist. Die 95 % beschreiben die Trommel, nicht das einzelne Los.

Fünf Lesarten, die nicht stimmen

Eigene Zusammenstellung nach den genannten Quellen.

Im Bericht sind Sie auf der sicheren Seite, wenn Sie das Intervall und sein Niveau nennen: „Das 95-%-Konfidenzintervall reicht von 57,2 bis 66,8 %.“ Für ein Publikum ohne Statistikkenntnisse passt auch „Der wahre Anteil liegt plausibel zwischen 57 und 67 %“.

90, 95 oder 99 %?

Ein Paketdienst kündigt die Zustellung „zwischen 8 und 20 Uhr“ an. Damit behält er fast immer recht. Nur hilft Ihnen das wenig: Das Paket kann um 9 Uhr kommen, um 15 Uhr oder um 19 Uhr, und Sie müssten den ganzen Tag zu Hause bleiben. Verspricht er „zwischen 14 und 16 Uhr“, können Sie planen. Halten kann er dieses Versprechen aber nur, wenn er mehr weiß: wo der Fahrer gerade ist und wann er an den vergangenen Tagen in Ihrer Straße war. Je mehr solcher Beobachtungen er hat, desto genauer kann er sagen, wann der Fahrer üblicherweise bei Ihnen ankommt. Ohne sie liegt er mit dem engen Zeitfenster öfter daneben.

Mit dem Konfidenzintervall ist es ähnlich. Ein breites Intervall ist wie das Zeitfenster von 8 bis 20 Uhr: Sie können sehr sicher sein, dass der wahre Wert darin liegt, aber Ihre Aussage ist wenig konkret, denn er kann fast überall liegen. Ein enges Intervall ist konkreter, so wie das Zeitfenster von 14 bis 16 Uhr. Nur: Je enger Sie es ziehen, desto leichter liegt der wahre Wert außerhalb. Wollen Sie ein enges Intervall und trotzdem sicher sein, müssen Sie wie der Paketdienst mehr wissen. Seine Beobachtungen sind in einer Umfrage Ihre Antworten: Je mehr Antworten Sie haben, desto genauer wissen Sie, wo der wahre Wert liegt.

Oft steht die Zahl der Antworten aber fest, weil die Umfrage abgeschlossen ist. Dann bleibt Ihnen ein Tausch. Sie können sicherer sein, dann wird das Intervall breiter. Oder Sie können konkreter werden, dann sinkt die Sicherheit. Mehr von dem einen heißt weniger von dem anderen. Wie Sie sich entscheiden, legen Sie mit dem Konfidenzniveau fest: Es gibt an, wie sicher Sie sein wollen. Üblich sind 95 %, je nach Fragestellung auch 99 % oder 99,9 % (Schumann 2019, S. 192). In der Umfrageforschung wird auch mit 90 % gearbeitet.

Die Tabelle zeigt beides an unserem Beispiel, in dem 62 % der Befragten zufrieden sind: in den ersten drei Zeilen den Tausch bei 400 Antworten, in der letzten, was mehr Antworten bringen.

Eigene Rechnung für einen Anteil von 62 %.

Kurz gesagt: Ein breites Intervall ist sicher, aber wenig konkret. Ein enges ist konkret, aber riskanter. Beides zusammen gibt es nur mit mehr Antworten. Und das Konfidenzniveau ist der Name für die Wahl, die Sie zwischen den beiden treffen.

Legen Sie das Niveau vor der Auswertung fest, und nennen Sie es immer mit. Ein Intervall ohne Niveau lässt sich nicht deuten.

Wovon hängt die Breite ab?

Drei Größen bestimmen, wie breit ein Konfidenzintervall wird (Schumann 2019, S. 192):

• Die Zahl der Antworten. Mehr Antworten machen das Intervall schmaler.
• Das Konfidenzniveau. Mehr Sicherheit macht es breiter.
• Die Streuung. Je unterschiedlicher die Antworten, desto breiter das Intervall. Bei Mittelwerten steckt die Streuung in der Standardabweichung, bei Anteilen im Produkt p × (1 − p).

Beeinflussen können Sie davon praktisch nur die Zahl der Antworten. Die Streuung ist, wie sie ist, und das Niveau ist Konvention (Folie 153). Und die Zahl der Antworten wirkt nur über ihre Wurzel: Für ein halb so breites Intervall brauchen Sie etwa viermal so viele Antworten (Schumann 2019, S. 192, Fn. 43).

Eigene Rechnung, 95 %, einfache Zufallsstichprobe, große Grundgesamtheit.

Für die Praxis heißt das: Die Gesamtstichprobe von 400 hilft dem Vertrieb mit seinen 25 Antworten nicht. Bei einem Anteil von 60 % beträgt die Fehlerspanne dort ±19,2 Prozentpunkte. Ein Bild dazu zeigt der Beitrag p-Wert und Signifikanz.

Wollen Sie umgekehrt eine Fehlerspanne vorgeben und die nötige Zahl der Antworten bestimmen, hilft der Beitrag Berechnung der Stichprobengröße mit dem Stichprobenrechner.

Was tun bei kleinen Zahlen und kleinen Grundgesamtheiten?

Die Formel für Anteile ist eine Näherung über die Normalverteilung. Sie wird unzuverlässig, wenn nur wenige Personen eine Antwort gewählt oder nicht gewählt haben. Der Rechner oben warnt nach der verbreiteten 10er-Regel: Mindestens 10 Personen sollen die Antwort gegeben haben und mindestens 10 nicht (Diez et al. o. J., Abschnitt 6.1).

Brown, Cai und DasGupta haben gezeigt, dass die Trefferquote der üblichen Formel sprunghaft schwankt und dass gängige Lehrbuchregeln davor nicht zuverlässig schützen (Brown et al. 2001, S. 101). Die Faustregeln sind also eine Mindestprüfung, keine Garantie. Statistikprogramme bieten für solche Fälle genauere Verfahren an. Brown und seine Mitautoren empfehlen für kleine Stichproben das Wilson-Intervall, das nie unter 0 % oder über 100 % reicht (Brown et al. 2001, S. 107 und 115).

Für den Bericht gilt bei sehr kleinen Zahlen: Häufigkeiten sind oft ehrlicher als Prozente. „3 von 30 Befragten“ sagt alles, „10 %“ täuscht eine Genauigkeit vor, die nicht da ist. Dasselbe gilt für dünn besetzte Zellen in einer Kreuztabelle.

Kleine Grundgesamtheit: die Korrektur für endliche Grundgesamtheiten

Alle Formeln bisher unterstellen, dass die Grundgesamtheit viel größer ist als die Stichprobe. Befragen Sie einen großen Teil einer kleinen Gruppe, wissen Sie mehr, als die Formel annimmt, und das Intervall wird zu breit. Ab einem Stichprobenanteil von 10 % der Grundgesamtheit sollte korrigiert werden. Der Korrekturfaktor ist √((N − n) / (N − 1)), wobei N die Größe der Grundgesamtheit ist (Malhotra und Birks 2007, S. 433 und 435). Mit ihm multiplizieren Sie die Fehlerspanne, bei Anteilen wie bei Mittelwerten.

Der Rechner oben korrigiert nicht, er weist nur darauf hin. Die Herleitung steht im Beitrag Berechnung der Stichprobengröße.

Die Korrektur gilt nur, wenn die Befragten zufällig aus der kleinen Gruppe gezogen wurden. Laden Sie alle 250 Mitglieder ein und 150 antworten, ist das keine Zufallsstichprobe mehr. Mehr dazu unter Voraussetzungen.

Zwei Werte vergleichen: das Intervall der Differenz

Oft interessiert nicht ein einzelner Wert, sondern ein Unterschied: dieses Jahr gegen letztes Jahr, Abteilung A gegen Abteilung B. Dann berichten Sie das Konfidenzintervall der Differenz. Für zwei Anteile aus unabhängigen Stichproben addieren sich die Unsicherheiten beider Werte unter der Wurzel (Diez et al. o. J., Abschnitt 6.2). Das Intervall der Differenz ist deshalb breiter als jedes der beiden Einzelintervalle. Die Rechnung am Beispiel, was der p-Wert dazu sagt und warum zwei überlappende Einzelintervalle kein Test sind, steht im Beitrag p-Wert und Signifikanz. Für den Vergleich zweier Mittelwerte ist der t-Test das passende Werkzeug.

Gilt das für jede Umfrage? Die Voraussetzungen

Ein Konfidenzintervall beruht auf der Annahme, dass der Zufall entschieden hat, wer in der Stichprobe ist: Solche Intervalle lassen sich nur bei zufällig ausgewählten Untersuchungseinheiten berechnen (Jacob et al. 2019, S. 71). Auch die amerikanische Fachgesellschaft AAPOR hält fest, dass die Fehlerspanne nur für Zufallsstichproben gilt und nicht für Online-Umfragen mit Selbstauswahl (AAPOR o. J., S. 1).

Vier Fälle sollten Sie unterscheiden:

• Zufallsstichprobe aus einer Liste, etwa aus der Kundendatei gezogen und persönlich eingeladen: Die Voraussetzung ist im Prinzip erfüllt, solange die Liste die Grundgesamtheit abdeckt und die Ausfälle das Bild nicht verzerren.
• Offener Link, etwa in sozialen Netzwerken oder auf der Website: Die Teilnehmenden haben sich selbst ausgewählt. Berichten Sie Tendenzen in der befragten Gruppe und verzichten Sie auf Fehlerspannen. Mehr dazu unter Repräsentativität.
• Alle eingeladen, ein Teil antwortet, etwa in einer Mitarbeiterbefragung: Wer antwortet, entscheidet nicht der Zufall. Das Intervall beschreibt dann nur den Zufallsfehler unter der Annahme, dass sich die Antwortenden nicht systematisch von den anderen unterscheiden (Rücklaufquote).
• Geschichtete Stichproben, Klumpenstichproben oder gewichtete Daten: Die Rechnung muss zum Auswahlverfahren passen. Die einfachen Formeln dieser Seite gelten für die einfache Zufallsstichprobe.

Und auch bei einer sauberen Zufallsstichprobe misst das Intervall nur den Zufallsfehler der Auswahl, nicht die Qualität der Frage: Eine suggestiv formulierte Frage liefert ein präzises Intervall um den falschen Wert.

Wie schreibe ich das Konfidenzintervall in den Bericht?

Zu einem vollständig berichteten Ergebnis gehören vier Angaben: der Wert, das Intervall oder die Fehlerspanne, das Konfidenzniveau und die Zahl der Antworten. Dazu kommt einmal im Bericht die Art der Stichprobe.

Eigene Formulierungen. Die letzte Zeile stammt aus dem Beitrag Repräsentativität.

Beim Berichten hilft außerdem:

• Sinnvoll runden. Meist genügen ganze Prozentwerte oder eine Nachkommastelle. Weitere Stellen machen das Ergebnis nicht verlässlicher.
• Fehlerbalken beschriften. Schreiben Sie in die Legende, was der Balken zeigt, etwa „Fehlerbalken: 95-%-Konfidenzintervall“.
• Einmal erklären reicht. In einem Bericht mit vielen Prozentwerten genügt ein Methodenhinweis am Anfang: „Bei 400 Befragten beträgt die Fehlerspanne für Anteile höchstens ±4,9 Prozentpunkte (95 % Konfidenzniveau). Für Teilgruppen ist sie größer.“

Konfidenzintervalle für Ihre QUESTIONSTAR-Daten

Die Berichte in QUESTIONSTAR zeigen zu jeder Frage Anzahl und Prozent je Antwortoption (Funktionen). Deskriptive Statistiken lassen sich in praktisch jedem Bericht einschalten: Zahl der Antworten, Mittelwert, Standardabweichung, Varianz, Minimum, Maximum und Quartile. Konfidenzintervalle weisen die Berichte nicht aus, weder für Anteile noch für Mittelwerte. Mit den Zahlen aus dem Bericht berechnen Sie das Intervall selbst.

Anteil. Nehmen Sie die Zahl der gültigen Antworten und den Anteil aus dem Bericht und setzen Sie beides in den Rechner oben ein. Bei Fragen mit Mehrfachauswahl ist die Prozentbasis eine Einstellung im Bericht: Die Prozentwerte beziehen sich entweder auf die Personen, die die Frage beantwortet haben, oder auf alle gesetzten Kreuze. Für den Rechner brauchen Sie die erste Basis, stellen Sie den Bericht also darauf ein.

Mittelwert. In vier Schritten:

1. Schalten Sie im Bericht die deskriptiven Statistiken ein und lesen Sie Zahl der Antworten, Mittelwert und Standardabweichung ab.
2. Teilen Sie die Standardabweichung durch die Wurzel aus der Zahl der Antworten. Das ist der Standardfehler.
3. Multiplizieren Sie ihn mit dem t-Wert für Ihre Fallzahl (Tabelle und Excel-Formel). Das ist die Fehlerspanne.
4. Mittelwert minus und plus Fehlerspanne ergibt das Intervall, im Beispiel 3,61 ± 0,11, also 3,50 bis 3,72.

Ob die Standardabweichung mit n oder mit n − 1 im Nenner gerechnet ist, ändert daran bei den in Umfragen üblichen Antwortzahlen nichts. Wer lieber mit den Rohdaten rechnet, exportiert sie (SPSS, CSV oder XLSX) und nutzt in Excel die dort gezeigte Formel mit KONFIDENZ.T.

Arbeiten Sie mit einem KI-Assistenten, der über die MCP-Schnittstelle mit QUESTIONSTAR verbunden ist, können Sie ihn bitten: „Berechne für Frage 5 das 95-%-Konfidenzintervall für jeden Antwortanteil und für den Mittelwert, beim Mittelwert mit der t-Verteilung.“ Gerechnet wird dann vom Assistenten, nicht von QUESTIONSTAR. Lassen Sie sich Formel und Fallzahl nennen und prüfen Sie ein Ergebnis mit dem Rechner oben nach. Eine Ausnahme ist der gepaarte t-Test: Ihn rechnet QUESTIONSTAR serverseitig und liefert die mittlere Differenz mit ihrem 95-%-Konfidenzintervall. Fragen, die Sie als personenbezogen markiert haben, werden bei eingeschalteter Einstellung nicht an den Assistenten übergeben.

Die wichtigste Voraussetzung schaffen Sie vor der Befragung: Ziehen Sie eine Zufallsstichprobe aus Ihrer Liste und laden Sie die Gezogenen persönlich per E-Mail ein, statt einen offenen Link zu streuen. Nur dann bedeutet das Intervall, was es verspricht.

Checkliste: Konfidenzintervall richtig berechnen und berichten

• Art der Stichprobe geklärt: Zufallsstichprobe (aus welcher Liste) oder Selbstauswahl. Bei Selbstauswahl keine Fehlerspanne berichtet
• Mit der Zahl der gültigen Antworten je Frage gerechnet, bei Teilgruppen mit der Fallzahl der Teilgruppe
• Anteil: mindestens 10 Personen haben die Antwort gewählt und 10 nicht, sonst Häufigkeiten berichtet („3 von 30“) oder ein genaueres Verfahren aus dem Statistikprogramm genutzt
• Mittelwert: mit t statt 1,96 gerechnet, Verteilung geprüft und mit gezeigt, bei weniger als 30 Antworten, starker Schiefe oder Ausreißern als grobe Orientierung gekennzeichnet
• Stichprobe umfasst 10 % der Grundgesamtheit oder mehr: Korrektur für endliche Grundgesamtheiten angewandt
• Konfidenzniveau vor der Auswertung festgelegt
• Wert, Intervall oder Fehlerspanne, Niveau und n zusammen berichtet
• Formulierung zum Publikum passend gewählt: in wissenschaftlichen Arbeiten die strenge Fassung (95 % als Trefferquote des Verfahrens), Werte sinnvoll gerundet
• Bei Vergleichen das Intervall der Differenz berichtet, nicht zwei Einzelintervalle nebeneinandergelegt

Häufige Fragen zum Konfidenzintervall

Was ist ein Konfidenzintervall, einfach erklärt?

Ein Konfidenzintervall ist ein aus der Stichprobe berechneter Bereich um ein Ergebnis, in dem der wahre Wert der Grundgesamtheit plausibel liegt. Bei 62 % Zufriedenen unter 400 zufällig ausgewählten Befragten reicht das 95-%-Konfidenzintervall von 57,2 % bis 66,8 %. Es zeigt, wie genau die Stichprobe den Wert schätzt (Schumann 2019, S. 191-193).

Wie berechne ich das Konfidenzintervall für einen Mittelwert?

Standardfehler = Standardabweichung / Wurzel aus n, Fehlerspanne = t × Standardfehler, Intervall = Mittelwert ± Fehlerspanne. t ist der Wert der t-Verteilung mit n − 1 Freiheitsgraden und liegt bei 95 % und vielen Antworten nahe 1,96 (Schumann 2019, S. 191-192; Malhotra und Birks 2007, S. 526-527). Beispiel: Mittelwert 3,61, Standardabweichung 1,08 und 400 Antworten ergeben ±0,11, also 3,50 bis 3,72.

Was bedeutet ein 95-%-Konfidenzintervall?

Das Verfahren trifft in 95 von 100 Fällen: Von sehr vielen so berechneten Intervallen enthalten etwa 95 von 100 den wahren Wert. Sie können also zu 95 % darauf vertrauen, dass der wahre Wert in Ihrem Intervall liegt. Streng genommen beschreiben die 95 % die Trefferquote des Verfahrens, nicht die Wahrscheinlichkeit für dieses eine Intervall (Schumann 2019, S. 191).

Was tue ich, wenn weniger als zehn Personen eine Antwort gewählt haben?

Dann ist die übliche Formel für Anteile unzuverlässig (Diez et al. o. J., Abschnitt 6.1), das rechnerische Intervall kann sogar unter 0 % reichen. Berichten Sie Häufigkeiten statt Prozente, etwa „3 von 30 Befragten“, oder nutzen Sie ein genaueres Verfahren aus einem Statistikprogramm, zum Beispiel das Wilson-Intervall (Brown et al. 2001, S. 115).

Wie bekomme ich ein schmaleres Konfidenzintervall?

Praktisch nur durch mehr Antworten. Für die halbe Breite brauchen Sie etwa viermal so viele (Schumann 2019, S. 192, Fn. 43). Wie viele Antworten Sie für eine gewünschte Fehlerspanne brauchen, zeigt der Beitrag Berechnung der Stichprobengröße.

Darf ich bei einer Online-Umfrage mit offenem Link ein Konfidenzintervall angeben?

Besser nicht. Das Konfidenzintervall setzt eine Zufallsauswahl voraus (Jacob et al. 2019, S. 71). Haben sich die Teilnehmenden selbst ausgewählt, gilt die Fehlerspanne nicht (AAPOR o. J., S. 1). Berichten Sie die Ergebnisse dann als Tendenzen in der befragten Gruppe und beschreiben Sie, wie die Teilnehmenden gewonnen wurden.

Quellen

AAPOR, American Association for Public Opinion Research (o. J.). Margin of Sampling Error/Credibility Interval. Stellungnahme, aapor.org (PDF), abgerufen am 11.11.2026. S. 1 (Fehlerspanne nur für Zufallsstichproben, am größten bei 50 %).

Brown, L. D., Cai, T. T. und DasGupta, A. (2001). Interval Estimation for a Binomial Proportion. Statistical Science, 16(2), 101-133. DOI 10.1214/ss/1009213286. Frei zugänglich im Repositorium der University of Pennsylvania, abgerufen am 11.11.2026. S. 101 (Schwächen des üblichen Näherungsintervalls), S. 107 (Wilson-Intervall), S. 115 (Empfehlung für kleine Stichproben).

Diez, D. M., Barr, C. D. und Çetinkaya-Rundel, M. (o. J.). OpenIntro Statistics. Online-Ausgabe bei LibreTexts (stats.libretexts.org), ohne Auflagenangabe, abgerufen am 11.11.2026. Abschnitt 4.3 „Confidence Intervals“ (Deutung, Bedingungen für Mittelwerte), Abschnitt 5.1 „One-Sample Means with the t Distribution“ (t-Intervall), Abschnitt 6.1 „Inference for a Single Proportion“ (mindestens 10 Erfolge und 10 Misserfolge), Abschnitt 6.2 „Difference of Two Proportions“ (Standardfehler der Differenz).

Jacob, R., Heinz, A. und Décieux, J. P. (2019). Umfrage. Einführung in die Methoden der Umfrageforschung (4. Aufl.). Berlin/Boston: De Gruyter Oldenbourg. S. 71 (Zufallsauswahl, Vertrauensintervalle).

Malhotra, N. K. und Birks, D. F. (2007). Marketing Research: An Applied Approach (3rd European ed.). Harlow: Pearson. S. 85 (Gesamtfehler), S. 432 (Fehlerspanne nach Anteil), S. 433-435 (Stichprobenverteilung, Standardfehler, Korrektur für endliche Grundgesamtheiten), S. 437-441 (Konfidenzintervalle für Mittelwerte und Anteile), S. 526-527 (t-Verteilung).

Marx, P. (2026). Grundlagen der Umfrageforschung. Foliensatz, Folien 152 und 153 (Kapitel 4). QUESTIONSTAR. Folie 152, Folie 153.

Microsoft (o. J.). KONFIDENZ.T (Funktion). Hilfeseite zu Excel, support.microsoft.com, abgerufen am 11.11.2026 (Syntax und Rechenbeispiel).

Schumann, S. (2019). Repräsentative Umfrage. Praxisorientierte Einführung in empirische Methoden und statistische Analyseverfahren (7. Aufl.). Berlin/Boston: De Gruyter Oldenbourg. S. 176-177 (zentraler Grenzwertsatz, Standardfehler), S. 191-193 (Konfidenzintervalle für Mittelwerte und Anteilswerte).

Ich wünsche Ihnen Ergebnisse, bei denen Sie nicht nur die Zahl kennen, sondern auch wissen, wie weit Sie ihr trauen können.

Übrigens, das hier ist verwandt:

• p-Wert und Signifikanz: einfach erklärt, richtig gedeutet
• Berechnung der Stichprobengröße: technische Details einfach erklärt
• Stichprobenverfahren: Zufallsstichprobe, Quote und Klumpen

Dr. Paul Marx

Autor: Dr. Paul Marx
Dr. Paul Marx ist Gründer und Geschäftsführer von QUESTIONSTAR und war Professor für Marketing an der Universität Siegen.