Reliabilität und Validität: Cronbachs Alpha, Beispiele, Arten

Was Reliabilität und Validität bedeuten, wie Sie Cronbachs Alpha berechnen und deuten und welche Validitätsarten es gibt. Mit Rechner und Rechenbeispiel.

Kurz gesagt: Ein Messinstrument ist reliabel, wenn es zuverlässig misst, also mit wenig Zufallsfehler immer wieder zu ähnlichen Ergebnissen kommt. Es ist valide, wenn es genau das misst, was es messen soll, und nichts anderes. Zusammen mit der Objektivität sind das die drei Gütekriterien eines Fragebogens. Reliabilität ist eine notwendige, aber keine hinreichende Bedingung für Validität (Malhotra und Birks 2007, S. 359; Schumann 2019, S. 30 und 42). Cronbachs Alpha ist das gebräuchlichste Maß für eine bestimmte Form der Reliabilität, die interne Konsistenz einer Skala aus mehreren Items (Schumann 2019, S. 42).

So nutzen Sie den Rechner. Fügen Sie die Antworten auf die Items Ihrer Skala ein oder laden Sie eine Datei hoch: eine Spalte je Item, eine Zeile je Person. Markieren Sie die Items, die umgepolt werden müssen, in der Regel die negativ formulierten. Der Rechner zeigt dann Cronbachs Alpha mit einem 95-%-Intervall, das Alpha ohne das jeweilige Item und die Trennschärfe jedes Items, also seine Korrelation mit der Summe der übrigen Items. Zum Ausprobieren gibt es eine Beispieldatei mit erfundenen Antworten von 30 Personen auf fünf Items zur Arbeitszufriedenheit. Wie Sie die Werte deuten, lesen Sie unten unter Cronbachs Alpha.

Sie lernen hier, welche Fehler eine Messung verzerren, wie Sie die Reliabilität prüfen, wie Sie Cronbachs Alpha berechnen und deuten und welche Arten von Validität es gibt. Wie Sie eine Skala aufbauen, beschreibe ich unter Latente Konstrukte und Multi-Item-Skalen, wie Sie die Items zu einem Wert zusammenfassen, unter Aggregation von Multi-Item-Likert-Skalen.

Messfehler: wahrer Wert, Zufall und Verzerrung

Betrachten wir ein Beispiel, das jeder kennt: die Körperwaage. Stellen Sie sich eine Waage vor, die bei jedem Wiegen genau 2 Kilo zu viel anzeigt. Sie steigen dreimal hintereinander darauf und lesen dreimal denselben Wert ab. Die Waage misst also zuverlässig, sie ist reliabel. Trotzdem zeigt sie nicht Ihr Gewicht an, sie ist nicht valide (in Anlehnung an Schumann 2019, S. 29-30).

Jetzt eine zweite Waage. Sie zeigt im Durchschnitt das richtige Gewicht an, springt aber bei jedem Wiegen um ein, zwei Kilo nach oben oder unten. Dieser Waage können Sie bei keiner einzelnen Messung trauen. Sie ist wenig reliabel, und deshalb ist auch die einzelne Messung wenig valide.

Für den Blutdruck ist auch die beste Waage kein valides Instrument (Schumann 2019, S. 30). Validität gilt also immer für ein bestimmtes Messziel.

Eine Merkhilfe aus einem anderen Lehrbuch: Eine Spargelcremesuppe aus der Tüte ist zuverlässig, wenn sie immer gleich schmeckt, und gültig, wenn sie auch nach Spargel schmeckt (Jacob et al. 2019, S. 39, Fn. 7).

Das True-Score-Modell

Was bei der Waage passiert, beschreibt das True-Score-Modell. Das Ergebnis einer Messung ist nicht der wahre Wert eines Merkmals, sondern eine Beobachtung davon (Malhotra und Birks 2007, S. 356; Marx 2026, Folie 73). Der beobachtete Wert setzt sich aus drei Teilen zusammen:

Dabei ist:

X_O der beobachtete Wert, also das, was Sie im Datensatz sehen.

X_T der wahre Wert des Merkmals.

X_S der systematische Fehler. Er wirkt bei jeder Messung gleich, wie die 2 Kilo der ersten Waage.

X_R der Zufallsfehler. Er schwankt von Messung zu Messung, wie die Sprünge der zweiten Waage.

Malhotra und Birks nennen die Unterscheidung zwischen systematischem und zufälligem Fehler entscheidend, denn systematische Fehler senken die Reliabilität nicht, Zufallsfehler schon. Ist X_R gleich null, ist die Messung perfekt reliabel (Malhotra und Birks 2007, S. 357). Perfekt valide ist sie erst, wenn auch X_S null ist, wenn also gar kein Messfehler vorliegt (Malhotra und Birks 2007, S. 358; Marx 2026, Folie 74).

Fehler entstehen etwa durch sozial erwünschte Antworten, Müdigkeit, unklare Formulierungen oder ein ungünstiges Layout (Malhotra und Birks 2007, S. 356). Vieles davon haben Sie beim Fragebogen selbst in der Hand.

Die klassische Testtheorie kennt nur einen Fehlerterm, Reliabilität ist dort der Anteil der Varianz der wahren Werte an der Gesamtvarianz (Fischer 1974, zitiert nach Schumann 2019, S. 30-31; Schnell 2019, S. 80, Fn. 32). Weil sich die wahren Werte empirisch nicht ermitteln lassen, wird die Reliabilität geschätzt, nicht direkt gemessen (Schumann 2019, S. 31).

Warum Reliabilität nicht reicht

Aus dem Modell folgen drei Sätze, die Sie sich merken sollten (Marx 2026, Folie 75; Malhotra und Birks 2007, S. 359). Eine valide Messung ist auch reliabel. Eine wenig reliable Messung kann nicht hoch valide sein. Aus Reliabilität allein folgt aber keine Validität, denn eine perfekt reliable Messung kann immer noch einen systematischen Fehler enthalten.

Erst prüfen Sie also die Reliabilität, dann die Validität (Schumann 2019, S. 42). Ein hohes Alpha ist noch kein Beweis, dass Ihre Skala das Richtige misst. In meinem Kurs zitiere ich dazu Bart Gamble von Burke, Inc. sinngemäß: Ohne Genauigkeit und Reliabilität zugleich können wir unseren Daten nicht vertrauen (Marx 2026, Folie 76).

Reliabilität: Arten und wie man sie prüft

Reliabilität ist das Ausmaß, in dem eine Skala bei wiederholten Messungen zu konsistenten Ergebnissen kommt. Das heißt nicht, dass Sie immer zweimal messen müssen. Für die Schätzung gibt es vier verbreitete Verfahren (Malhotra und Birks 2007, S. 357-358; Schumann 2019, S. 40-42):

Test-Retest: zweimal fragen

Malhotra und Birks nennen als typischen Abstand zwischen den beiden Messungen zwei bis vier Wochen (Malhotra und Birks 2007, S. 357). Bei einer Skala, die Möhring und Schlütz beschreiben, waren es etwa zwei Monate (Beißert et al. 2015, zitiert nach Möhring und Schlütz 2019, S. 19). Das Verfahren setzt ein stabiles Merkmal voraus und wird deshalb meist dort eingesetzt, wo ohnehin mehrere Befragungswellen geplant sind (Schumann 2019, S. 41). Online sehe ich es vor allem in Panels mit denselben Personen.

Paralleltest: zwei gleichwertige Fassungen

Lienert und Raatz halten den Paralleltest für das beste Verfahren, wenn geprüfte Parallelfassungen vorliegen (Lienert und Raatz 1998, zitiert nach Schumann 2019, S. 40-41). In Umfragen ist das so gut wie nie der Fall, deshalb wird er kaum verwendet (Schumann 2019, S. 41). Für die Korrelation müssen dieselben Personen beide Fassungen beantworten (Schumann 2019, S. 40-41). Bei der Testhalbierung dagegen wird eine einzige Fassung in zwei Itemgruppen geteilt.

Testhalbierung: eine Befragung, zwei Hälften

Bei der Testhalbierung teilen Sie die Items zum Beispiel in gerade und ungerade Nummern und korrelieren die Summen der beiden Hälften. Das Ergebnis hängt davon ab, wie Sie teilen (Malhotra und Birks 2007, S. 358). Weil jede Hälfte nur halb so lang ist, unterschätzt die Korrelation die Reliabilität der ganzen Skala. Die Spearman-Brown-Formel korrigiert das, wenn beide Hälften ähnlich streuen (Lienert und Raatz 1998, zitiert nach Schumann 2019, S. 41, Fn. 60):

Schumann rechnet mit einer Korrelation der Hälften von 0,69. Eingesetzt ergibt das 2 · 0,69 / (1 + 0,69) = 1,38 / 1,69 ≈ 0,82 für die ganze Skala (Schumann 2019, S. 41, Fn. 60).

Interne Konsistenz: das Standardverfahren

In der Praxis nimmt man meist Verfahren, die keine wiederholte Messung erfordern. Die interne Konsistenz ist die am häufigsten verwendete Gruppe von Reliabilitätstests und sollte bei allen Instrumenten aus mehreren Indikatoren eingesetzt werden (Jacob et al. 2019, S. 37-38). Sie bewertet Skalen, bei denen mehrere Items zu einem Gesamtwert addiert werden (Malhotra und Birks 2007, S. 358). Für eine Online-Befragung mit nur einer Messung ist sie meist das Mittel der Wahl, nur beantwortet sie eine andere Frage als der Test-Retest. Schnell nennt es ausdrücklich falsch, Alpha als Maß für Stabilität zu lesen. Aus einem hohen Alpha allein folgt weder, dass das Merkmal über die Zeit stabil ist, noch, dass keine Messfehler vorliegen. Dafür braucht man mehrere Messzeitpunkte (Schnell 2019, S. 80, Fn. 32).

Und Reliabilität ist keine feste Eigenschaft einer Skala. Mit einer anderen Stichprobe können sich die Kennwerte ändern, ein für alle Mal geeichte Skalen gibt es in den Sozialwissenschaften nicht (Jacob et al. 2019, S. 39).

Cronbachs Alpha: berechnen und interpretieren

Cronbachs Alpha, auch Koeffizient Alpha genannt, lässt sich als Mittelwert aller möglichen Testhalbierungs-Koeffizienten einer Skala verstehen (Cronbach 1951, zitiert nach Malhotra und Birks 2007, S. 358). Es ist heute der gebräuchlichste Koeffizient der internen Konsistenz (Schumann 2019, S. 42). Damit ist auch gesagt, was Alpha nicht ist: nicht „die“ Maßzahl der Reliabilität, sondern ein Maß für eine ihrer Formen.

Die Formel

Die Formel braucht nur drei Zutaten (Utesch 2020, PDF-S. 79):

Dabei ist:

k die Zahl der Items der Skala.

Var(X_i) die Varianz der Antworten auf Item i. Summiert wird über alle k Items.

Var(Y) die Varianz der Summenwerte, also der Summe aller Items je Person.

Die Logik dahinter: Wenn die Items dasselbe messen, gehen sie gemeinsam nach oben und unten, und die Varianz der Summenwerte ist deutlich größer als die Summe der Itemvarianzen. Der Bruch wird klein und Alpha groß. Wenn die Items nichts miteinander zu tun haben, addieren sich nur ihre Varianzen, und Alpha liegt nahe null. Der Faktor k / (k − 1) gleicht aus, dass der Bruch auch bei perfekt passenden Items nicht null werden kann.

Durchgerechnet: vier Items zur Arbeitszufriedenheit

Die Daten sind erfunden. Mit acht Personen ist das ein Rechenbeispiel, keine Empfehlung für eine Fallzahl.

Ein HR-Team misst die Arbeitszufriedenheit mit vier Aussagen. Die Antwortskala hat fünf Stufen mit neutraler Mitte: 1 „stimme gar nicht zu“, 2 „stimme eher nicht zu“, 3 „teils, teils“, 4 „stimme eher zu“, 5 „stimme voll zu“ (Stufen in Anlehnung an Schumann 2019, S. 38).

• I1: „Ich gehe gern zur Arbeit.“
• I2: „Meine Arbeit ist abwechslungsreich.“
• I3: „Alles in allem bin ich mit meiner Arbeit zufrieden.“
• I4: „Meine Arbeit frustriert mich häufig.“

I4 ist negativ formuliert. Wer zufrieden ist, stimmt hier nicht zu. Acht Personen antworten so:

Schritt 1: umpolen. Bei negativ formulierten Items werden die Werte umgekehrt, damit ein hoher Wert bei allen Items dasselbe bedeutet (Schumann 2019, S. 38; Malhotra und Birks 2007, S. 349). Bei einer Skala von 1 bis 5 rechnen Sie 6 minus Wert. Aus 2 wird 4, aus 5 wird 1, die Mitte 3 bleibt 3. Wie Sie die Items danach zu einem Skalenwert zusammenfassen, steht unter Aggregation von Multi-Item-Likert-Skalen.

Schritt 2: die Itemvarianzen. Nehmen wir I1. Der Mittelwert ist 3. Die Abweichungen der acht Personen davon sind 2, 1, 1, 0, −1, 0, −1, −2, ihre Quadrate 4, 1, 1, 0, 1, 0, 1, 4, zusammen 12. Geteilt durch 8 − 1 = 7 ergibt das eine Varianz von ≈ 1,714. I2 und I3 haben zufällig dieselbe Varianz von ≈ 1,714, das umgepolte I4 hat 1,125. Die Summe der Itemvarianzen ist ≈ 6,268.

Schritt 3: die Varianz der Summenwerte. Die Summen in der letzten Spalte haben einen Mittelwert von 11,625. Die Summe der quadrierten Abweichungen ist 117,875, geteilt durch 7 ergibt das ≈ 16,839.

Schritt 4: einsetzen. Mit k = 4:

α = 4/3 · (1 − 6,268 / 16,839) ≈ 4/3 · (1 − 0,372) ≈ 0,84

Die vier Items passen also gut zusammen. Ob Sie die Varianzen durch n oder durch n − 1 teilen, ändert Alpha nicht, solange Sie es bei allen Varianzen gleich machen. Der Faktor kürzt sich heraus.

Was passiert, wenn Sie das Umpolen vergessen

Rechnen wir mit I4 im Rohzustand. Die Itemvarianzen bleiben gleich, denn Umpolen ändert die Streuung eines Items nicht, ihre Summe ist wieder ≈ 6,268. Die Summenwerte lauten jetzt 15, 14, 15, 12, 12, 12, 11, 8. Wer bei I1 bis I3 hoch antwortet, antwortet bei I4 niedrig, und beides hebt sich in der Summe teilweise auf. Die Varianz der Summenwerte fällt auf ≈ 5,411.

α = 4/3 · (1 − 6,268 / 5,411) ≈ 4/3 · (1 − 1,158) ≈ −0,21

Alpha ist negativ. Das ist kein Rechenfehler, sondern ein Warnsignal: Ein Item läuft gegen die anderen. Wenn ich ein auffallend niedriges oder negatives Alpha sehe, prüfe ich deshalb als Erstes, ob alle negativ formulierten Items umgepolt sind.

Alpha, wenn ein Item wegfällt

Viele Statistikprogramme und der Rechner oben zeigen zu jedem Item, wie hoch Alpha wäre, wenn man dieses Item weglässt. Das ist kein eigenes Verfahren, sondern dieselbe Formel, einmal ohne I1, einmal ohne I2 und so weiter, jeweils mit k = 3. Für unser Beispiel mit umgepoltem I4:

Alpha mit allen vier Items: ≈ 0,84. Eigene Rechnung mit den Beispieldaten.

Die rechte Spalte ist die Trennschärfe, die Korrelation eines Items mit dem Summenwert der übrigen Items. Sie entscheidet mit, ob ein Item in der Skala bleibt (Schumann 2019, S. 39-40).

I2 hängt am schwächsten mit den anderen zusammen, ohne I2 stiege Alpha von ≈ 0,84 auf ≈ 0,90. Soll das HR-Team I2 also streichen? Nicht automatisch. Man kann zwar mit Hilfe von Alpha Items ausschließen, die keine Indikatoren für das Konstrukt sind (Jacob et al. 2019, S. 39). Ob Abwechslung zur Arbeitszufriedenheit gehört, ist aber eine inhaltliche Frage. Wer nur Items behält, die fast dasselbe fragen, bekommt ein schönes Alpha und misst womöglich nur noch einen Ausschnitt des Konstrukts. Das ist eine Frage der Inhaltsvalidität, dazu weiter unten.

Wertebereich: meist zwischen 0 und 1

Lehrbücher geben für Alpha einen Wertebereich von 0 bis 1 an (Malhotra und Birks 2007, S. 358; Schumann 2019, S. 42; Jacob et al. 2019, S. 38). Solange die Items im Mittel positiv zusammenhängen, stimmt das. Hängen sie im Mittel negativ zusammen, wie im Beispiel mit dem nicht umgepolten I4, wird Alpha negativ. Nach unten ist es rechnerisch nicht begrenzt. Ein Praxisbuch nennt den Bereich von minus unendlich bis 1, sinnvoll interpretierbar seien nur positive Werte (Weinreich und von Lindern 2008, S. 166-167; so auch Marx 2020, Folie 73).

Ab wann ist Cronbachs Alpha gut?

Das ist die Frage, die mir am häufigsten gestellt wird.

0,7 ist eine verbreitete Faustregel. Die Lehrbücher setzen die Grenze unterschiedlich: Malhotra und Birks bei 0,6, deutschsprachige Lehrbücher eher bei 0,8 (Malhotra und Birks 2007, S. 358; Schumann 2019, S. 42; Jacob et al. 2019, S. 38; Döring und Bortz 2016, S. 468, zitiert nach Möhring und Schlütz 2019, S. 102, Fn. 38).

Mein Rat: Unter 0,6 würde ich einer Skala nicht trauen, ohne nach der Ursache zu suchen. Ab etwa 0,8 gilt die interne Konsistenz nach allen genannten Quellen als ausreichend. Dazwischen kommt es darauf an, wofür Sie die Werte brauchen. Für eine interne Befragung kann 0,7 genügen, für eine Veröffentlichung wäre ich strenger. Ob die Skala das Richtige misst, ist mit keinem dieser Werte geprüft.

Alpha aus einer Stichprobe ist eine Schätzung. Der Rechner zeigt deshalb zusätzlich ein 95-%-Konfidenzintervall nach Feldt et al. (1987, S. 95). Das Verfahren setzt ein Modell mit zufällig gezogenen Personen und Items sowie unabhängigen, normalverteilten Fehlerkomponenten mit gleicher Varianz voraus. Bei fünfstufigen Antworten ist das Intervall als Näherung zu verstehen. Bei kleinen Stichproben sollten Sie es besonders vorsichtig deuten. Für unser Beispiel mit acht Personen und vier Items reicht es von ≈ 0,52 bis ≈ 0,96, für die Beispieldatei mit 30 Personen und fünf Items von ≈ 0,66 bis ≈ 0,90.

Drei Dinge, die Alpha beeinflussen

Die Zahl der Items. Alpha steigt tendenziell mit der Zahl der Items (Peterson 1994 und Brown et al. 2002, zitiert nach Malhotra und Birks 2007, S. 358). Vergleichen Sie Alpha-Werte deshalb nur mit Blick auf die Länge der Skala.

Redundante Items. Aus demselben Grund kann Alpha künstlich und unangemessen hoch werden, wenn mehrere Items fast dasselbe fragen (Malhotra und Birks 2007, S. 358). Beispiele dafür stehen unter Latente Konstrukte und Multi-Item-Skalen. Eine feste Obergrenze nennt keine meiner Quellen. Wenn ich Werte deutlich über 0,9 sehe, schaue ich mir die Formulierungen an und frage mich, ob einzelne Items nur Wiederholungen sind.

Mehrere Dimensionen. Misst eine Skala ein Konstrukt mit mehreren Dimensionen, ist eine interne Konsistenz über alle Dimensionen hinweg unangemessen. Berechnen Sie Alpha dann je Dimension (ebd.), zum Beispiel ein Alpha für die Zufriedenheit mit der Führung, ein anderes für die Arbeitsbedingungen. Der Merksatz: Alpha setzt voraus, dass die Items dasselbe messen, es beweist es nicht.

Validität: die Arten im Überblick

Valide ist eine Skala, wenn Unterschiede in den beobachteten Werten wahre Unterschiede zwischen den Befragten widerspiegeln und nicht Fehler (Malhotra und Birks 2007, S. 358). Einen einzelnen Kennwert dafür gibt es nicht. Üblich sind drei Arten, und von „der“ Validität eines Tests kann man kaum sprechen (Schumann 2019, S. 42).

Inhaltsvalidität: Fehlt etwas?

Inhaltsvalidität ist eine subjektive, aber systematische Prüfung, ob die Items den ganzen Bereich des Konstrukts abdecken (Malhotra und Birks 2007, S. 358). Schumann gibt ein Beispiel, das gut zu unserer Rechnung passt: Ein Test zur Berufszufriedenheit, dessen Items sich nur auf das Einkommen beziehen, hat eine mangelnde Inhaltsvalidität. Arbeitsklima, Vorgesetzte, Möglichkeiten zur Entfaltung und zum Aufstieg fehlen (Schumann 2019, S. 42).

Geprüft wird die Inhaltsvalidität in der Regel durch ein Urteil von Fachleuten (Schumann 2019, S. 42). Allein reicht sie nicht aus (Malhotra und Birks 2007, S. 358), aber sie ist das Gegengewicht zum rein rechnerischen Blick.

Kriteriumsvalidität: Passt der Wert zur Wirklichkeit?

Kriteriumsvalidität prüft, ob die Skala mit einem Außenkriterium zusammenhängt. Malhotra und Birks nennen als Beispiel eine Loyalitätsskala, die man an den beobachteten Wiederkäufen prüft (Malhotra und Birks 2007, S. 358-359). Möhring und Schlütz nennen Angaben zum Kauf von fair gehandeltem Kaffee, die man mit Abverkaufszahlen vergleicht (Möhring und Schlütz 2019, S. 21).

Je nach Zeitpunkt des Kriteriums unterscheidet man zwei Formen (Malhotra und Birks 2007, S. 359; Schumann 2019, S. 43):

• Konkurrente Validität (Übereinstimmungsvalidität): Skala und Kriterium werden gleichzeitig erhoben.
• Prognostische Validität (Vorhersagevalidität): Das Kriterium wird später erhoben. Das Standardbeispiel ist ein Schuleignungstest, der sich an den späteren Schulnoten bewähren muss (Schumann 2019, S. 43).

Für unser HR-Beispiel könnte das heißen: Haben Teams mit niedriger Arbeitszufriedenheit im folgenden Jahr eine höhere Quote freiwilliger Kündigungen? Vergleichen Sie dafür den Anteil der Beschäftigten, die im selben Zeitraum selbst kündigen, nicht die bloße Zahl der Kündigungen. In einer anonymen Befragung geht das nur auf der Ebene von Teams oder Bereichen, nicht für einzelne Personen. Außenkriterien sollten möglichst nicht mit weiteren Fragen im selben Fragebogen erhoben werden, sondern etwa durch Beobachtung oder Fremdeinschätzung. Sonst entstehen leicht Scheinzusammenhänge, zum Beispiel weil dieselben Befragten bei beiden Messungen gern zustimmen (Schumann 2019, S. 43, Fn. 64).

Eine Sonderform ist die Technik der bekannten Gruppen: Gruppen, von denen man weiß, dass sie ein Merkmal stark ausgeprägt haben, müssen auf der Skala höhere Werte erreichen (Schumann 2019, S. 43). Möhring und Schlütz beschreiben eine Medienkompetenz-Skala, die bei Studierenden der Kommunikationswissenschaft wie erwartet höhere Werte zeigte als bei Schülerinnen und Schülern (Sowka et al. 2015, zitiert nach Möhring und Schlütz 2019, S. 102).

Konstruktvalidität: Misst die Skala die gemeinte Eigenschaft?

Konstruktvalidität fragt, welche Eigenschaft eine Skala tatsächlich misst. Sie braucht eine Theorie und ist die anspruchsvollste Art der Validität (Malhotra und Birks 2007, S. 359). Man unterscheidet drei Teilarten (ebd.):

• Konvergente Validität: Die Skala korreliert hoch mit anderen Messungen desselben Konstrukts.
• Diskriminante Validität: Die Skala lässt sich empirisch von Messungen anderer Konstrukte unterscheiden. Unterschiedliche Konstrukte dürfen miteinander korrelieren.
• Nomologische Validität: Die Skala hängt mit verwandten Konstrukten so zusammen, wie die Theorie es vorhersagt.

Malhotra und Birks zeigen das an einer Skala zum Selbstbild. Erwartet werden hohe Korrelationen mit anderen Selbstkonzept-Skalen (konvergent), niedrige mit Markentreue und Abwechslungssuche (diskriminant), und die Befragten sollten, wie die Theorie es vorhersagt, Marken bevorzugen, die zu ihrem Selbstbild passen (nomologisch) (Malhotra und Birks 2007, S. 359).

Ein systematisches Verfahren dafür ist die Multitrait-Multimethod-Matrix (Campbell und Fiske 1959, zitiert nach Schumann 2019, S. 44). Konstruktvalidierung ist eher ein Forschungsprogramm als ein einzelner Test (Schumann 2019, S. 44).

Übrigens, „interne“ und „externe“ Validität sind etwas anderes, die externe Validität hängt vor allem an der Stichprobe (Möhring und Schlütz 2019, S. 20). Darum geht es im Artikel Repräsentativität.

Beispiel: Ist der NPS reliabel und valide?

In meinem Kurs steht der Net Promoter Score im Kapitel über Reliabilität und Validität, mit zwei Prüffragen (Marx 2020, Folie 76): Ist die Skala reliabel? Ist die Skala valide?

Reliabel: Der NPS beruht auf einer einzigen Frage. Cronbachs Alpha lässt sich für eine einzelne Frage nicht berechnen, denn die Formel braucht mindestens zwei Items. Bleibt der Test-Retest mit seinen oben beschriebenen Problemen.

Valide: Für welches Ziel? Reichheld selbst schreibt später mit Markey, die Weiterempfehlungsfrage sei für viele, aber nicht für alle Branchen die beste Einzelfrage, und jedes Unternehmen müsse den Zusammenhang mit dem späteren Kundenverhalten selbst empirisch prüfen (Reichheld und Markey 2011, S. 50-51, zitiert nach Marx 2026, Folie 78). In der Sprache dieses Artikels ist das eine Forderung nach prognostischer Validität. Was die Forschung dazu sagt und wie Sie den NPS berechnen, steht im Artikel Net Promoter Score.

Objektivität: das dritte Gütekriterium eines Fragebogens

Ein Test soll drei Hauptgütekriterien genügen: Er soll objektiv, reliabel und valide sein (Lienert und Raatz 1998, zitiert nach Schumann 2019, S. 29). Für einen Fragebogen gelten dieselben Gütekriterien. Bei der Objektivität unterscheidet man drei Formen (Schumann 2019, S. 29):

• Durchführungsobjektivität: Das Ergebnis darf nicht davon abhängen, wer die Befragung durchführt, etwa welcher Interviewer fragt.
• Auswertungsobjektivität: Wer auch immer auswertet, muss zum selben Zahlenergebnis kommen. Bei Umfragen ist sie meist gegeben, bei der Kodierung offener Antworten nicht unbedingt (Schumann 2019, S. 29).
• Interpretationsobjektivität: Verschiedene Forschende dürfen aus demselben Wert nicht zu unterschiedlichen Schlüssen kommen. Problematisch sind willkürlich gesetzte Grenzen (Schumann 2019, S. 29).

Online sehen alle denselben Text, und kein Interviewer beeinflusst die Antworten. Ganz von selbst ergibt sich Objektivität aber nicht. Offene Antworten brauchen feste Kodierregeln. Und legen Sie vor der Auswertung fest, ab welchem Wert jemand als „zufrieden“ gilt. Möhring und Schlütz halten Objektivität sogar für nicht erreichbar und setzen auf Transparenz und intersubjektive Nachvollziehbarkeit (Möhring und Schlütz 2019, S. 18).

Was das für Ihren Fragebogen heißt

Bewährte Skalen übernehmen, mit Quelle. In meinem Lehrbuch heißt die Regel „baue oder klaue“: Für viele Konstrukte gibt es fertige, geprüfte Skalen, etwa im Marketing Scales Handbook (Bruner 2012, zitiert nach Marx 2026, Folie 69) oder in Fachzeitschriften. Übernehmen Sie Wortlaut und Stufen unverändert und nennen Sie die Quelle. Aber auch bewährte Skalen müssen in einer neuen Untersuchung geprüft werden, weil sich Kontext und Befragte ändern (Schnell 2019, S. 123; Jacob et al. 2019, S. 39).

Mehrere Items für Konstrukte, die man nicht direkt beobachten kann. Mehrere Items messen ein Merkmal genauer als eine einzelne Frage (Malhotra und Birks 2007, S. 360).

Alle Stufen benennen. Sind nur einige Stufen einer Skala benannt oder nur Zahlen vergeben, ist sie womöglich weniger eindeutig und damit weniger reliabel und valide (Thielsch et al. 2012, S. 233). Ich verwende außerdem nur symmetrische Skalen mit einer neutralen Mitte. Mehr dazu unter Likert-Skalen: Alles, was Sie darüber wissen wollten.

Negativ formulierte Items sparsam einsetzen. Sie können auch richtig umgepolt bei Tests der internen Konsistenz zu schlechten Ergebnissen führen, weil sich viele Befragte mit doppelten Verneinungen schwertun (Möhring und Schlütz 2019, S. 100-101). Vermerken Sie gleich beim Erstellen, welche Items umzupolen sind.

Vor dem Feld testen. Bei einem ausreichend großen Vortest lassen sich bereits Reliabilität und Validität schätzen (Schnell 2019, S. 123). Für die Itemanalyse einer neuen Skala empfehlen Möhring und Schlütz mindestens 100 Personen aus der Zielgruppe (Möhring und Schlütz 2019, S. 101). Das gilt für neu entwickelte Skalen, nicht für jeden Probelauf.

Nach dem Feld: Alpha je Dimension berechnen und berichten. Durchgeführte Prüfungen wie Alpha-Koeffizienten gehören in den Forschungsbericht (Jacob et al. 2019, S. 248). Studien ohne Angaben zur Zuverlässigkeit und Gültigkeit ihrer Messinstrumente sind für wissenschaftliche Zwecke unbrauchbar (Schnell 2019, S. 126). Für eine Abschlussarbeit heißt das: Nennen Sie für jede Skala die Zahl der Items, den Alpha-Wert selbst, nicht nur „akzeptabel“, und die Quelle der Skala.

Bei niedrigem Alpha: erst prüfen, dann streichen. Ich prüfe erst, ob alle negativ formulierten Items umgepolt sind und ob die Skala mehrere Dimensionen misst. Dann schaue ich auf die Trennschärfe und das Alpha ohne das schwächste Item. Herausnehmen würde ich ein Item nur mit inhaltlicher Begründung, und die steht dann im Bericht.

Übrigens, unter den Vorlagen von QUESTIONSTAR finden Sie auch etablierte Instrumente mit eigener Quelle, zum Beispiel die Vorlage Mitarbeiter-Wohlbefinden & Stress (PSS-10 + WHO-5) mit dem WHO-5 und der Perceived Stress Scale. Die Prüfung in Ihren eigenen Daten nimmt Ihnen aber auch eine bewährte Skala nicht ab.

So berechnen Sie das mit Ihren Daten

QUESTIONSTAR selbst berechnet Cronbachs Alpha nicht. Mit den Antworten aus Ihrer Umfrage haben Sie drei Wege.

Mit dem Rechner oben. Exportieren Sie Ihre Antworten als XLSX- oder CSV-Datei und übernehmen Sie die Spalten der Items in den Rechner am Anfang dieses Artikels.

Mit einem Statistikprogramm. Für SPSS, R oder das kostenlose JASP exportieren Sie die Daten als SPSS-, CSV- oder XLSX-Datei. Die üblichen Statistikprogramme bieten für Testhalbierung und Alpha Standardprozeduren an (Jacob et al. 2019, S. 38, Fn. 6). Neben Alpha zeigen sie in der Regel auch die Trennschärfe und das Alpha ohne das jeweilige Item.

Mit einem KI-Assistenten. Ist QUESTIONSTAR über die MCP-Schnittstelle mit einem KI-Assistenten verbunden, etwa in ChatGPT oder Claude, kann der Assistent Cronbachs Alpha aus den Antworten Ihrer Umfrage berechnen. Es rechnet der Assistent, nicht QUESTIONSTAR. Sagen Sie ihm, welche Items zur Skala gehören und welche umzupolen sind. Fragen, die Sie in der Umfrage als personenbezogen markiert haben, werden bei eingeschalteter Einstellung nicht an den Assistenten übergeben. Antworten ohne diese Markierung, vor allem Freitexte, können trotzdem personenbezogene Daten enthalten. Prüfen Sie deshalb vor der Übergabe, welche Fragen der Assistent zu sehen bekommt. Und prüfen Sie das Ergebnis nach, etwa mit dem Rechner oben oder in einem Statistikprogramm.

Drei Dinge sollten Sie auf jedem Weg beachten:

1. Polen Sie negativ formulierte Items vor der Analyse um, sonst rechnen Sie wie im Beispiel mit einem falschen Vorzeichen.
2. Rechnen Sie Alpha für jede Dimension getrennt, nicht für den ganzen Fragebogen.
3. Prüfen Sie, wie fehlende Antworten im Export kodiert sind. Solche Codes dürfen nicht als Skalenwert in die Rechnung eingehen.

QUESTIONSTAR rechnet selbst Korrelationen, Regressionen und t-Tests, in den Berichten und über die MCP-Schnittstelle. Für einzelne Fragen ist das ein erster Blick: Wie stark hängen zwei Items zusammen? Unterscheiden sich zwei Gruppen bei einer Frage, etwa Teams, von denen Sie einen Unterschied erwarten? Bedenken Sie dabei die Einschränkung von oben: Ein Kriterium aus derselben Befragung ist nur eine weichere Prüfung. Für den Skalenwert und für Alpha nehmen Sie einen der drei Wege oben. Wie der t-Test funktioniert, steht im Artikel Der t-Test.

Häufige Fragen zu Reliabilität und Validität

Was ist der Unterschied zwischen Reliabilität und Validität?

Reliabilität fragt, ob ein Instrument mit wenig Zufallsfehler zu konsistenten Ergebnissen kommt (Malhotra und Birks 2007, S. 357), Validität, ob es misst, was es messen soll (Schumann 2019, S. 30).

Kann ein Test reliabel, aber nicht valide sein?

Ja. Ein systematischer Fehler, der bei jeder Messung gleich wirkt, senkt die Reliabilität nicht, macht die Messung aber ungültig. Umgekehrt kann eine wenig reliable Messung nicht hoch valide sein (Malhotra und Birks 2007, S. 359).

Ab wann ist Cronbachs Alpha gut?

Eine einheitliche Grenze gibt es nicht. Malhotra und Birks halten 0,6 oder weniger für unbefriedigend (Malhotra und Birks 2007, S. 358), deutschsprachige Lehrbücher nennen Werte über 0,8 akzeptabel oder gut (Schumann 2019, S. 42; Jacob et al. 2019, S. 38). Die verbreitete Faustregel 0,7 liegt dazwischen.

Kann Cronbachs Alpha zu hoch sein?

Ein sehr hoher Wert kann auf Items hinweisen, die fast dasselbe fragen, denn redundante Items erhöhen Alpha künstlich (Malhotra und Birks 2007, S. 358). Eine feste Obergrenze nennen meine Quellen nicht, bei Werten deutlich über 0,9 lohnt ein Blick auf die Formulierungen.

Was ist Objektivität?

Objektivität, Reliabilität und Validität sind die drei Hauptgütekriterien (Lienert und Raatz 1998, zitiert nach Schumann 2019, S. 29). Objektiv ist eine Befragung, wenn die Ergebnisse nicht davon abhängen, wer sie durchführt, auswertet und deutet (Schumann 2019, S. 29).

Wie berechne ich Cronbachs Alpha?

Sie teilen die Summe der Itemvarianzen durch die Varianz der Summenwerte, ziehen das Ergebnis von 1 ab und multiplizieren mit k / (k − 1), wobei k die Zahl der Items ist. Negativ formulierte Items polen Sie vorher um. In der Praxis rechnen Sie mit dem Rechner oben, mit SPSS, R oder JASP.

Quellen

Beißert, H., Köhler, M., Rempel, M. und Beierlein, C. (2015). Deutschsprachige Kurzskala zur Messung des Konstrukts Need for Cognition NFC-K. Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). Zitiert nach Möhring und Schlütz (2019), S. 19.

Brown, T. J., Mowen, J. C., Donavan, D. T. und Licata, J. W. (2002). The customer orientation of service workers: personality trait effects on self- and supervisor performance ratings. Journal of Marketing Research, 39(1), 110-119. Zitiert nach Malhotra und Birks (2007), S. 358.

Bruner (2012). Marketing Scales Handbook, Vol. 6. Zitiert nach Marx (2026), Folie 69.

Campbell, D. T. und Fiske, D. W. (1959). Convergent and Discriminant Validation by the Multitrait-Multimethod-Matrix. Psychological Bulletin, 81-105. Zitiert nach Schumann (2019), S. 44.

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297-334. Zitiert nach Malhotra und Birks (2007), S. 358.

Döring, N. und Bortz, J. (2016). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften (5. Aufl.). Berlin: Springer. Zitiert nach Möhring und Schlütz (2019), S. 102, Fn. 38.

Feldt, L. S., Woodruff, D. J. und Salih, F. A. (1987). Statistical inference for coefficient alpha. Applied Psychological Measurement, 11(1), 93-103. Online.

Fischer, G. (1974). Einführung in die Theorie psychologischer Tests. Bern. Zitiert nach Schumann (2019), S. 30-31.

Jacob, R., Heinz, A. und Décieux, J. P. (2019). Umfrage. Einführung in die Methoden der Umfrageforschung (4. Aufl.). Berlin/Boston: De Gruyter Oldenbourg.

Lienert, G. A. und Raatz, U. (1998). Testaufbau und Testanalyse (6. Aufl.). Weinheim. Zitiert nach Schumann (2019), S. 29, 40-41 und 41 Fn. 60.

Malhotra, N. K. und Birks, D. F. (2007). Marketing Research. An Applied Approach (3rd European edition). Harlow: Pearson Education.

Marx, P. (2020). Grundlagen der Umfrageforschung (Foliensatz, Fassung 2020). Folie 73 (Reliabilität und Validität) und Folie 76 (NPS im Kapitel Reliabilität und Validität).

Marx, P. (2026). Grundlagen der Umfrageforschung. Foliensatz, Kapitel 2 „Messung und Skalierung“, Folien 69, 73-76 und 78. QUESTIONSTAR. Lehrbuch Kapitel 2.

Möhring, W. und Schlütz, D. (2019). Die Befragung in der Medien- und Kommunikationswissenschaft. Eine praxisorientierte Einführung (3. Aufl.). Wiesbaden: Springer VS.

Peterson, R. A. (1994). A meta-analysis of Cronbach's coefficient alpha. Journal of Consumer Research, 21, 381-391. Zitiert nach Malhotra und Birks (2007), S. 358.

Reichheld, F. und Markey, R. (2011). The Ultimate Question 2.0. Boston: Harvard Business Review Press. S. 50-51, zitiert nach Marx (2026), Folie 78.

Schnell, R. (2019). Survey-Interviews. Methoden standardisierter Befragungen (2. Aufl.). Wiesbaden: Springer VS. DOI 10.1007/978-3-531-19901-6.

Schumann, S. (2019). Repräsentative Umfrage. Praxisorientierte Einführung in empirische Methoden und statistische Analyseverfahren (7. Aufl.). Berlin/Boston: De Gruyter Oldenbourg.

Sowka, A., Klimmt, C., Hefner, D., Mergel, F. und Possler, D. (2015). Die Messung von Medienkompetenz. Ein Testverfahren für die Dimension „Medienkritikfähigkeit“ und die Zielgruppe „Jugendliche“. Medien & Kommunikationswissenschaft, 63(1), 62-82. Zitiert nach Möhring und Schlütz (2019), S. 102.

Thielsch, M. T., Lenzner, T. und Melles, T. (2012). Wie gestalte ich gute Items und Interviewfragen? In M. T. Thielsch und T. Brandenburg (Hrsg.), Praxis der Wirtschaftspsychologie. Bd. II, Themen und Fallbeispiele für Studium und Anwendung (S. 221-240). Münster: Monsenstein und Vannerdat.

Utesch, T. (2020). Workshop-Foliensatz zu Gütekriterien, Reliabilität und Faktorenanalyse (ohne Titel). Westfälische Wilhelms-Universität Münster, 15. bis 17. Dezember 2020. Unveröffentlicht. Seitenangaben nach der PDF-Fassung.

Weinreich, U. und von Lindern, E. (2008). Praxisbuch Kundenbefragungen. München: mi-Fachverlag, FinanzBuch Verlag.

Ich wünsche Ihnen Skalen, denen Sie trauen können, und den Mut, im Bericht auch ein mittelmäßiges Alpha offen zu nennen.

Übrigens, das hier ist verwandt:

• Latente Konstrukte und Multi-Item-Skalen
• Aggregation von Multi-Item-(Likert-)Skalen
• Net Promoter Score (NPS): Berechnung, Rechner und Interpretation

Dr. Paul Marx

Autor: Dr. Paul Marx
Dr. Paul Marx ist Gründer und Geschäftsführer von QUESTIONSTAR und war Professor für Marketing an der Universität Siegen.