Panelbefragung: Veränderung im Längsschnitt messen

Panel oder Trendstudie? Was eine Panelbefragung zeigt, wie Sie Wellen per ID verknüpfen und mit Panelmortalität umgehen. Mit Rechenbeispiel und Checkliste.

Eine Panelbefragung befragt dieselben Personen mehrmals und wiederholt dabei mindestens einen festen Kern von Fragen. Sie zeigt deshalb, wer sich verändert hat und in welche Richtung. Befragen Sie dagegen jedes Mal eine neue Stichprobe (Trendstudie) oder dieselben Menschen, ohne ihre Antworten verbinden zu können, sehen Sie nur, ob sich der Gesamtwert verschoben hat, die Nettoveränderung. Das Panel verlangt dafür mehr: eine Kennung, über die sich die Antworten einer Person verbinden lassen, unveränderte Fragen und einen Plan für die Teilnehmenden, die zwischen den Befragungen aussteigen.

Dieser Artikel beantwortet fünf Fragen der Reihe nach:

1. Was ist eine Panelbefragung, und was unterscheidet sie von einer Trendstudie?
2. Warum zeigen zwei Befragungen mit verschiedenen Personen nur die Nettoveränderung?
3. Wann brauchen Sie ein Panel, und wann genügt eine Trendstudie?
4. Wie verknüpfen Sie die Befragungswellen, und wie groß sollte der Abstand sein?
5. Was tun, wenn Teilnehmende aus dem Panel aussteigen, und was verändert das wiederholte Fragen?

Am Ende stehen die Umsetzung mit QUESTIONSTAR, von der Kontaktliste bis zur Tabelle, die zeigt, wer gewechselt hat, und eine Checkliste für die Planung.

Zwei Rechenbeispiele zeigen, worum es geht. Im ersten sind in zwei Befragungen jeweils 60,0 % der Kundinnen und Kunden zufrieden, und trotzdem haben 120 von 400 Personen ihr Urteil gewechselt. Im zweiten täuscht der Vergleich einen Anstieg um 5,0 Prozentpunkte vor, weil vor allem Personen fehlen, die im Frühjahr nicht zu den Zufriedenen zählten. Bei denselben Personen ist der Anteil dagegen um 7,9 Prozentpunkte gefallen.

Mit Panel ist hier Ihre eigene Wiederholungsbefragung gemeint (Beschäftigte, Kundschaft, ein Jahrgang von Studierenden), nicht der gekaufte Teilnehmerpool eines Anbieters, der ebenfalls Panel heißt, genauer Access-Panel. Wie Sie solche Anbieter prüfen, steht unter Wo finde ich Probanden?

Was ist eine Panelbefragung, und was ist eine Trendstudie?

Wer eine Veränderung messen will, muss mindestens zweimal messen. Eine einmalige Befragung, der Querschnitt, zeigt die Lage zu einem Zeitpunkt. Wer Veränderungen untersuchen will, braucht mehrere zeitlich gestaffelte Befragungen, die sogenannten Wellen (Jacob et al. 2019, S. 94). Für die Wiederholung gibt es zwei Wege, und sie unterscheiden sich in einem einzigen Punkt: wer beim zweiten Mal befragt wird.

Trendstudie: jedes Mal andere Personen. Als Trendstudie gelten zeitlich versetzte Erhebungen mit vergleichbarem Programm, deren Stichproben unabhängig sind, weil immer andere Personen befragt werden (Schnell 2019, S. 59). Bei sehr ähnlichem Fragebogen, gleicher Stichprobenziehung und geringem zeitlichem Abstand spricht Schnell auch von wiederholten Querschnitten (ebd.). Ein Beispiel: Ein Versandhändler zieht jedes Jahr eine neue Zufallsstichprobe aus seiner Kundenkartei und stellt ihr dieselben Fragen.

Ein weiterer Fall: dieselben Personen, aber nicht verbunden. Die anonyme Mitarbeiterbefragung, die jedes Jahr an die gesamte Belegschaft geht, ist streng genommen keine Trendstudie, denn es antworten großenteils dieselben Menschen. Weil sich ihre Antworten nicht verbinden lassen, können Sie die Befragung aber nur wie eine Trendstudie auswerten: Sie sehen die Gesamtwerte beider Jahre, nicht den Weg der einzelnen Person.

Panelbefragung: dieselben Personen noch einmal. Die Definition in einem Satz:

„Als Panel bezeichnet man eine Versuchsanordnung, in der dieselben Personen mehrfach mit (fast) demselben Instrument befragt werden. Ein Panel ist ein Längsschnittdesign.“ (Möhring und Schlütz 2019, S. 158)

Das Muster kennen viele von zu Hause, von den Bleistiftstrichen am Türrahmen, mit denen Eltern festhalten, wie ihr Kind wächst: dasselbe Kind, derselbe Zollstock, ein neuer Strich mit Datum.

Längsschnittstudie ist der Oberbegriff für Untersuchungen mit mehreren Befragungswellen (Jacob et al. 2019, S. 94). Oft ist damit im engeren Sinn das Panel gemeint, beide Wörter werden häufig gleichbedeutend gebraucht (Malhotra und Birks 2007, S. 76).

Warum zeigen zwei Querschnitte nur die Nettoveränderung?

Ein Dienstleister fragt seine Kundinnen und Kunden im Frühjahr und im Herbst, wie zufrieden sie sind. Beide Male sind 60 % zufrieden. Die naheliegende Lesart lautet: Es hat sich nichts getan. Ob das stimmt, lässt sich aus den beiden Zahlen aber nicht sagen. Warum nicht, zeigt ein Bild aus dem Alltag.

Ein Linienbus fährt durch die Stadt. An der Haltestelle Rathaus sitzen 24 Fahrgäste darin, einige Haltestellen weiter, am Bahnhof, wieder 24. Hat dazwischen niemand den Bus verlassen, ist niemand zugestiegen? Aus den beiden Zahlen lässt sich das nicht ablesen. Möglich ist, dass dieselben 24 Menschen durchgefahren sind. Ebenso möglich ist, dass unterwegs sechs den Bus verlassen haben und sechs andere zugestiegen sind. Und sitzen am Bahnhof 26 Fahrgäste im Bus, wissen Sie nur, dass zwei mehr zugestiegen sind, als den Bus verlassen haben. Ob es zwei und keiner waren oder acht und sechs, wissen Sie nicht. Wer an zwei Haltestellen die Köpfe zählt, kennt zwei Stände und ihren Unterschied, aber nicht die Bewegung dazwischen.

Wichtig wird das für die Verkehrsplanerin. Will sie nur wissen, ob der Bus groß genug ist, genügt ihr das Zählen. Will sie wissen, ob die Menschen vom Rathaus bis zum Bahnhof durchfahren oder unterwegs wechseln, hilft ihr das Zählen nicht weiter. Dafür müsste sie die Fahrgäste wiedererkennen: wissen, wer am Bahnhof im Bus sitzt und schon am Rathaus darin saß. Das ist aufwendiger als Zählen, denn jemand muss sich die einzelnen Fahrgäste merken.

Mit den Zufriedenen einer Befragung ist es ähnlich. Die Gruppe der Zufriedenen ist der Bus. Zwischen Frühjahr und Herbst verlassen Menschen diese Gruppe: Sie waren zufrieden und sind es nicht mehr. Andere kommen dazu. Zwei Befragungen, deren Antworten sich nicht verbinden lassen, zählen an zwei Haltestellen die Köpfe: 60 % im Frühjahr, 60 % im Herbst. Das gilt für zwei neue Stichproben ebenso wie für die anonyme Befragung derselben Belegschaft, bei der zwar derselbe Bus gezählt wird, aber niemand die Fahrgäste wiedererkennt. Sichtbar sind der Stand zu zwei Zeitpunkten und der Unterschied zwischen beiden Ständen. Dieser Unterschied heißt Nettoveränderung: das, was übrig bleibt, nachdem sich die Wechsel in beide Richtungen gegeneinander aufgehoben haben. Er kann null sein wie bei zweimal 60 % oder zwei Punkte betragen wie bei 60 % und 62 %. In beiden Fällen bleibt verborgen, wie viele Menschen insgesamt gewechselt haben. Diese Zahl wird oft Bruttoveränderung genannt.

Sichtbar wird die Bewegung erst, wenn Sie die Befragten wiedererkennen, also wissen, welche Antwort aus dem Herbst zu welcher Antwort aus dem Frühjahr gehört. Das leistet das Panel: Es befragt dieselben Personen und verbindet ihre Antworten. Querschnitte eignen sich dagegen vor allem dazu, Nettoveränderungen zu erkennen, etwa den Anstieg einer Arbeitslosenquote von 10 % auf 12 %. Wie viele Menschen zu beiden Zeitpunkten arbeitslos waren und wie viele es neu geworden sind, beantworten sie nicht (Schnell 2019, S. 62).

Das Bild hat zwei Grenzen. Wer den Bus verlässt, ist weg. Wer in der Befragung die Gruppe der Zufriedenen verlässt, bleibt befragt und gehört nun zur anderen Gruppe. Und im Bus wird exakt gezählt, eine Befragung misst ungenauer: Manche Menschen kreuzen beim zweiten Mal etwas anderes an, ohne dass sich ihre Meinung geändert hat. Ein Teil der beobachteten Wechsel ist deshalb Messungenauigkeit und keine echte Veränderung (Schumann 2019, S. 112, Fn. 13).

Die Regel hinter dem Bild: Zu denselben zwei Ständen passen sehr verschiedene Bewegungen. Wie weit das gehen kann, zeigt das folgende Rechenbeispiel, in dem der Bus zehnmal so groß ist: 240 Zufriedene statt 24 Fahrgäste, 60 Wechsel in jede Richtung statt sechs.

Durchgerechnet: zweimal 60 % zufrieden, 120 von 400 haben gewechselt

Dieselben Randsummen sagen also nichts über das Innere der Tabelle. Bei zweimal 240 Zufriedenen können zwischen 0 und 320 der 400 Personen gewechselt haben: 0, wenn alle bei ihrem Urteil bleiben, und 320, wenn alle 160 nicht Zufriedenen zufrieden werden und dafür 160 der 240 Zufriedenen die Gruppe verlassen. Welche Zahl es ist, zeigt erst die Verbindung der Antworten.

Eine Tabelle, die die Antworten der ersten Welle gegen die der zweiten stellt, heißt im Englischen turnover table (Malhotra und Birks 2007, S. 77), auf Deutsch Übergangstabelle. Lehrbücher zeigen denselben Gedanken an Marken und Parteien: Marke A wird in zwei Perioden von jeweils 200 der 1.000 Befragten gekauft, aber nur 100 davon kaufen sie beide Male (Malhotra und Birks 2007, S. 77-78), und eine Partei, die in zwei Umfragen jeweils 40 % erreicht, kann beide Male dieselben oder völlig andere Wählerinnen und Wähler haben (Schumann 2019, S. 112, Fn. 12).

Was Sie mit einer Übergangstabelle anfangen: Sie kennen jetzt zwei Gruppen, über die zwei Prozentwerte nichts sagen. Die einen waren zufrieden und sind es nicht mehr. Was ist bei ihnen passiert? Die anderen sind zufrieden geworden. Was war bei ihnen anders? Weil Sie von beiden Gruppen auch die übrigen Antworten haben, können Sie nachsehen, worin sie sich von den anderen unterscheiden. Lesen Sie das Ergebnis als Hinweis, nicht als Beweis. Messungenauigkeit kann dazu führen, dass sich einzelne Personen scheinbar verbessert haben, obwohl sich ihre Einstellung nicht verändert hat. Viele Auswertungen lassen die Möglichkeit ganz liegen und behandeln Paneldaten wie zwei Querschnitte (Schnell 2019, S. 345).

Kurz gesagt: Zwei Befragungen, deren Antworten sich nicht verbinden lassen, zeigen zwei Stände und deren Unterschied, die Nettoveränderung. Wie viele Menschen in welche Richtung gewechselt haben, zeigt nur das Panel, weil es die Befragten wiedererkennt, und auch dort ist ein Teil der Wechsel Messungenauigkeit.

Panel oder Trendstudie: Was passt zu Ihrer Frage?

Welches Design passt, entscheidet Ihre Frage. Wollen Sie wissen, wie sich ein Gesamtwert entwickelt, genügt eine Trendstudie oder eine Wiederholung ohne Kennung. Wollen Sie wissen, wer sich verändert hat, brauchen Sie ein Panel.

Sechs Gesichtspunkte helfen bei der Abwägung.

Genauigkeit. Zwei neue Stichproben weichen schon durch den Zufall der Auswahl voneinander ab. Bei einer Trendstudie müssen Sie deshalb echte Veränderungen von solchen unterscheiden, die nur aus dem Stichprobenfehler entstehen (Schumann 2019, S. 111, Fn. 11). Um eine tatsächliche Veränderung zu entdecken, braucht ein Panel weniger Fälle als wiederholte Querschnitte, und der Gewinn ist umso größer, je enger die Antworten der beiden Wellen zusammenhängen (Schnell 2019, S. 63 und Fn. 32). Eng hängen sie zusammen, wenn die meisten beim zweiten Mal dasselbe antworten wie beim ersten, wenn also wenige wechseln. Hängen sie gar nicht zusammen, verschwindet der Vorteil.

Anonymität. Ein Panel muss die Antworten einer Person verbinden können, zumindest über eine Kennung. Eine Befragung ohne jede Kennung lässt sich deshalb nur wie eine Trendstudie auswerten. Das gilt für die jährliche anonyme Mitarbeiterbefragung ebenso wie für die kurzen Pulsbefragungen dazwischen.

Aufwand. Bei gleicher Fallzahl und gleicher Erhebungsweise ist eine Trendstudie günstiger, vor allem weil die Panelpflege entfällt (Schnell 2019, S. 60). Ein Panel braucht mehr Vorlauf, ein Datenschutzkonzept und eine sorgfältigere Datenhaltung, und es belastet die Befragten stärker (Schnell 2019, S. 63).

Die Zielgruppe bewegt sich. Ein Panel bildet die Menschen ab, die zu Beginn ausgewählt wurden. Neue Beschäftigte oder neue Kunden sind nicht dabei, solange Sie sie nicht eigens aufnehmen. Wiederholte Querschnitte lassen sich leichter an eine veränderte Grundgesamtheit anpassen (Schnell 2019, S. 62).

Rückblickend fragen ist kein Ersatz. Die Frage „Waren Sie vor einem Jahr zufriedener?“ spart die zweite Welle, liefert aber nicht, was sie verspricht. Rückblickend erhobene Einstellungen gelten als wertlos für die Messung früherer Einstellungen: Erfragt werden die Vorstellungen der Befragten über ihren früheren Zustand, nicht der Zustand selbst (Schnell 2019, S. 59).

Ursachen. Ein Panel zeigt, dass sich nach einer Maßnahme bei denselben Personen etwas geändert hat. Lehrbücher trauen ihm deshalb Aussagen über Ursachen zu (Jacob et al. 2019, S. 94; Möhring und Schlütz 2019, S. 159). Genauer: Für einen Schluss auf Ursache und Wirkung müssen drei Bedingungen erfüllt sein, nämlich ein Zusammenhang, die passende zeitliche Reihenfolge und der Ausschluss anderer Erklärungen (Malhotra und Birks 2007, S. 303). Das Panel hilft, die zweite zu klären. Die dritte klärt es nicht: Ohne Vergleichsgruppe bleibt offen, ob sich dieselben Personen auch ohne die Maßnahme verändert hätten. Mehr dazu unter Korrelation und Kausalität.

Wie verknüpfen Sie die Wellen?

Ein Panel entsteht erst dadurch, dass sich die Antworten einer Person aus verschiedenen Wellen einander zuordnen lassen und dass in jeder Welle dasselbe gefragt wurde. Beides müssen Sie vor der ersten Welle festlegen, nachträglich lässt es sich nicht herstellen.

Dieselbe Person: eine stabile Kennung

Die Verkehrsplanerin müsste sich im Bus die Gesichter merken. In der Befragung übernimmt das eine Kennung: ein Zeichen je Person, das in allen Wellen gleich bleibt und in jedem Datensatz steht. Dafür gibt es zwei Wege. Die dritte Zeile der Tabelle zeigt zum Vergleich die Befragung ohne Kennung.

Der selbst erzeugte Code ist der übliche Ausweg, wenn Sie Verläufe brauchen, aber keine Namen oder Adressen speichern wollen, etwa bei heiklen Themen. Die Codefragen sollen Merkmale abfragen, die sich nicht ändern und einen persönlichen Bezug haben, zum Beispiel Buchstaben aus dem eigenen Namen oder dem von Verwandten oder Ziffern des Geburtsdatums (Grube et al. 1989, zitiert nach Pöge 2008, S. 60). Üblich sind sechs bis zehn Zeichen (Schnell et al. 2006, zitiert nach Pöge 2008, S. 60). Eine Anleitung mit sechs Zeichen könnte so aussehen:

Zusammengesetzt lautet der Code in diesem Beispiel AAK07X.

Die Anleitung fragt mit Absicht nichts ab, was in der Personalakte oder in der Kundenkartei steht, also weder das eigene Geburtsdatum noch den Nachnamen. Sonst könnte jeder, der diese Unterlagen hat, die Codes nachbilden. Ganz ausschließen lässt sich das nie, in kleinen Gruppen schon gar nicht. Auch mit Code bleiben die Daten deshalb pseudonym, nicht anonym.

Rechnen Sie außerdem damit, dass nicht jeder Code beim zweiten Mal gleich ausfällt. In einer Panelstudie mit Schülerinnen und Schülern, die den Code jedes Jahr auf Papier neu bildeten, stimmte er zwischen zwei Wellen nur bei rund 60 % der gefundenen Zuordnungen exakt überein. Die übrigen Paare fand erst ein fehlertolerantes Verfahren (Pöge 2008, S. 64). Für Ihre Befragung heißt das dreierlei:

1. Fragen Sie nur ab, was jeder sicher weiß und immer gleich schreibt.
2. Prüfen Sie vor der Auswertung, ob ein Code doppelt vorkommt.
3. Behandeln Sie Codes, die sich nur an einer Stelle unterscheiden, als mögliche Zuordnungen: Prüfen Sie solche Fälle anhand zusätzlicher, möglichst zeitstabiler Angaben wie dem Geburtsjahr. Bleibt die Zuordnung mehrdeutig, werten Sie die Antworten nicht als verbundenes Paar.

Persönliche Links nicht weitergeben. Bei schriftlichen und Online-Befragungen besteht keine Sicherheit darüber, wer den Fragebogen tatsächlich ausfüllt (Möhring und Schlütz 2019, S. 162). Die Autorinnen empfehlen Online-Panels deshalb nur bedingt (ebd.). Bei persönlichen Links an Dienst- oder Kundenadressen ist das Risiko kleiner, ausgeschlossen ist es nicht. Bitten Sie ausdrücklich darum, den Link nicht weiterzugeben.

Verknüpfte Daten sind nicht anonym. Solange sich Antworten über eine Kennung einer Person zuordnen lassen, sind die Daten pseudonym und bleiben personenbezogen. Sagen Sie in der Einladung, dass und wozu die Wellen verbunden werden, wer die Zuordnung sehen kann und wann sie gelöscht wird. Was anonym und pseudonym unterscheidet, steht unter Datenschutz bei Online-Umfragen. Ich bin kein Jurist und kann Ihnen nicht sagen, was in Ihrem Haus rechtlich gilt. Klären Sie deshalb vor der ersten Welle mit Betriebs- oder Personalrat und Datenschutz, welche Daten Sie verbinden, wer die Zuordnung sieht und wann sie gelöscht wird.

Dasselbe Instrument: Wortlaut und Skala bleiben gleich

Am Türrahmen vom Anfang gilt: Wer das Kind einmal mit Schuhen und einmal barfuß misst, findet zwischen zwei Strichen einen Unterschied, der kein Wachstum ist. In der Befragung entspricht dem jede Änderung an der Frage. Bei einer Veränderung zwischen zwei Zeitpunkten lässt sich in der Regel nicht eindeutig klären, ob sie tatsächlich stattgefunden hat oder auf unterschiedliche Erhebungsdetails zurückgeht, etwa auf veränderte Messinstrumente (Schnell 2019, S. 60). Das gilt für Trendstudien und für Panels gleichermaßen.

Daraus folgen vier Regeln:

• Kernfragen bleiben wortgleich. Dieselbe Formulierung, dieselbe Zahl von Stufen, dieselben Beschriftungen, dieselbe Richtung der Skala.
• Ein fester Kern, wechselnde Zusätze. Üblich ist, einen Teil der Fragen in jeder Welle zu wiederholen und daneben je Welle einige Fragen nur einmal zu stellen (Schnell 2019, S. 60). Stellen Sie die Kernfragen an den Anfang, damit wechselnde Zusatzfragen sie nicht beeinflussen.
• Gleicher Weg, gleiche Umstände. Wechseln Sie nicht zwischen Papier und Online oder zwischen Befragung im Seminarraum und zu Hause, wenn es sich vermeiden lässt.
• Änderungen als Bruch kennzeichnen. Muss eine Frage geändert werden, vermerken Sie das und vergleichen Sie diese Frage nicht über den Bruch hinweg.

Auch eine unveränderte Frage kann mit der Zeit etwas anderes messen. In einer Jugendstudie gaben 2016 plötzlich 35 % an, mehrmals in der Woche zu „zeichnen, malen, fotografieren und filmen“: Die Jugendlichen zählten nun auch Selfies dazu (Jacob et al. 2019, S. 94). Eine Patentlösung gibt es dafür nicht (ebd., S. 94-95). Prüfen Sie deshalb vor jeder Welle, ob Ihre Kernfragen noch so verstanden werden wie beim ersten Mal.

Wie groß sollte der Abstand zwischen den Wellen sein?

Der Abstand richtet sich nach der Veränderung, die Sie erwarten: Er muss lang genug sein, dass sie eintreten kann, und kurz genug, dass Sie Ihre Teilnehmenden nicht verlieren. Eine feste Regel nennt die Literatur nicht. Der Abstand der Wellen und ihre Zahl gehören zu den Fragen, die vor Beginn zu klären sind (Schnell 2019, S. 325).

Drei typische Fälle:

Was für die Häufigkeit von Mitarbeiterbefragungen spricht, steht unter Wie oft sollte man eine Mitarbeiterbefragung durchführen?

Beide Richtungen haben ihren Preis: Mehr Wellen und eine längere Laufzeit kosten Teilnehmende (Jacob et al. 2019, S. 95), größere Abstände lassen Adressen veralten (Schumann 2019, S. 112, Fn. 15).

Was tun, wenn Teilnehmende aus dem Panel aussteigen?

Rechnen Sie damit, dass in jeder Welle Menschen fehlen, die vorher geantwortet haben, und prüfen Sie, ob die Verbliebenen noch dieselbe Gruppe abbilden. Aussteigen heißt hier etwas anderes als der Wechsel im Bus-Bild: Dort verließ jemand die Gruppe der Zufriedenen und blieb befragt, hier verlässt jemand die Befragung selbst. Der Schwund heißt Panelmortalität, in der Fachliteratur auch Panel-Attrition: Ein Teil der Befragten der ersten Welle steht bei der zweiten nicht mehr zur Verfügung, und das setzt sich in der Regel von Welle zu Welle fort (Schumann 2019, S. 112; Schnell 2019, S. 329).

Wie groß der Schwund ist, hängt vom Panel ab. Große Bevölkerungspanels verlieren selbst unter idealen Voraussetzungen mindestens 3 bis 5 % je Welle (Schnell 2019, S. 331), für Verbraucherpanels werden bis zu 20 % im Jahr genannt (Malhotra und Birks 2007, S. 78). Für eigene Online-Befragungen von Kundschaft, Belegschaft oder Studierenden nennen die hier ausgewerteten Quellen keine Zahlen. Messen Sie Ihre eigene Quote ab der zweiten Welle.

Die Gründe lassen sich in zwei Gruppen bündeln: mangelnde Erreichbarkeit und mangelnde Motivation (Scherer 2000, S. 217, zitiert nach Möhring und Schlütz 2019, S. 160). Im eigenen Panel heißt das: Die E-Mail-Adresse gilt nicht mehr, jemand hat das Unternehmen verlassen oder den Vertrag gekündigt, oder die Person hat schlicht keine Lust mehr.

Zum Problem wird der Schwund, wenn er nicht zufällig ist, und in der Regel ist er das nicht (Schumann 2019, S. 112, Fn. 16). Steigen vor allem Personen aus, die einander ähneln, verzerrt das die Stichprobe (Möhring und Schlütz 2019, S. 160). Was das anrichten kann, zeigt das zweite Rechenbeispiel.

Durchgerechnet: Wie Ausfälle eine Verbesserung vortäuschen

Ob eine Veränderung bei denselben Personen mit Zufall vereinbar ist, prüfen Tests für verbundene Stichproben, bei Ja/Nein-Anteilen der McNemar-Test, bei Mittelwerten der gepaarte t-Test. Welcher wann passt, steht unter Welcher statistische Test? Wo Sie den McNemar-Test rechnen können, steht im Abschnitt zu QUESTIONSTAR.

Ausfälle prüfen und berichten

Ein Panel hat hier einen Vorteil gegenüber jeder einmaligen Befragung: Von den Ausgestiegenen kennen Sie die Antworten der früheren Wellen (Schnell 2019, S. 337). Nutzen Sie das in vier Schritten.

1. Wiederteilnahme je Welle ausweisen. Wie viele haben in Welle 1 geantwortet, wie viele davon in Welle 2, wie viele in beiden?
2. Verbliebene und Ausgestiegene vergleichen. Stellen Sie die Antworten der ersten Welle für beide Gruppen nebeneinander, bei den Kernfragen und bei Merkmalen wie Abteilung, Kundengruppe oder Studiengang. Unterscheiden sie sich deutlich, lässt sich die gemessene Veränderung nicht ohne Weiteres auf alle Befragten der ersten Welle übertragen.
3. Veränderungen nur an denselben Personen messen. Für die Aussage „gestiegen“ oder „gefallen“ zählen die Personen, die in beiden Wellen geantwortet haben. Die Werte je Welle für alle, die jeweils geantwortet haben, berichten Sie getrennt davon und mit eigener Fallzahl.
4. Offen berichten. Ein kurzer Absatz im Methodenteil genügt, wie im Beispiel unten.

„In der ersten Welle antworteten 400 Personen, 280 von ihnen (70,0 %) auch in der zweiten. Die Ausgestiegenen waren in der ersten Welle seltener zufrieden als die Verbliebenen (30,0 % gegenüber 72,9 %). Veränderungen werden deshalb nur für die 280 Personen berichtet, die an beiden Wellen teilgenommen haben. Sie gelten nicht ohne Weiteres für alle Befragten der ersten Welle.“

Zwei Grenzen bleiben. Der Vergleich deckt nur Unterschiede auf, die Sie in der ersten Welle gemessen haben. Und rechnerisch beheben lässt sich der Ausfall kaum: Ausgestiegene durch ähnliche neue Personen zu ersetzen, ist nicht ratsam, weil man häufig nicht weiß, welche Merkmale mit dem Thema zusammenhängen (Möhring und Schlütz 2019, S. 160, Fn. 75), und eine Gewichtung beruht auf inhaltlichen Annahmen und ist keine triviale Aufgabe (Schnell 2019, S. 345). Wie Sie Ausschlüsse und Fallzahlen allgemein berichten, steht unter Datenbereinigung.

Vorsorgen: größer starten

Planen Sie die erste Welle so groß, dass in der letzten noch genug Personen übrig sind. Als Faustregel für Panels gilt: Die erste Auswahl sollte doppelt so viele Menschen umfassen, wie nach fünf Wiederholungen noch enthalten sein sollen (Möhring und Schlütz 2019, S. 160-161). Umgerechnet heißt das: Von Mal zu Mal antworten etwa 87 % wieder. Mit einer eigenen, vorsichtigeren Annahme rechnen Sie so: Antworten von Welle zu Welle jeweils 80 % wieder, bleiben von 400 Personen 320 in der zweiten, 256 in der dritten und 205 in der vierten Welle. Sollen in der dritten Welle rechnerisch 200 Personen übrig bleiben, brauchen Sie bei dieser Annahme mindestens 313 Antworten in der ersten Welle: 200 / (0,8 × 0,8) = 312,5, aufgerundet 313. Wie viele Einladungen dafür nötig sind, rechnen Sie mit Ihrer Rücklaufquote.

Wie viele Personen in der letzten Welle übrig sein sollten, hängt davon ab, wie kleine Veränderungen Sie noch vom Zufall unterscheiden wollen. Zur Orientierung, gerechnet wie im Beispiel zur Genauigkeit unter Panel oder Trendstudie: Wechseln 30 % der Verbliebenen ihr Urteil und gleichen sich beide Richtungen etwa aus, liegt die Zufallsspanne bei 100 Personen bei etwa ±10,7 Prozentpunkten, bei 200 bei etwa ±7,6 und bei 400 bei etwa ±5,4. Eine gemessene Veränderung, die kleiner ist als diese Spanne, kann Zufall sein.

Verändert die wiederholte Befragung die Antworten?

Ja, das kann passieren, meist aber in geringem Maß. Der Fachbegriff ist Paneleffekt oder Panel-Conditioning: die Wirkung einer Befragung innerhalb eines Panels auf das Antwortverhalten in späteren Wellen (Schnell 2019, S. 327). Wer mehrmals nach einem Thema gefragt wird, achtet stärker darauf, bildet sich eine Meinung oder hält an einer einmal geäußerten Meinung fest. Auch die Motivation kann steigen oder sinken (Waterton und Lievesley 1989, zitiert nach Schnell 2019, S. 327). Besonders anfällig sind Themen, zu denen die Befragten in der ersten Welle noch keine rechte Meinung hatten (Möhring und Schlütz 2019, S. 162).

Wie stark ist der Effekt? Vermeiden lässt er sich kaum, bei den meisten Fragestellungen scheint er aber eher gering zu sein (Schnell 2019, S. 327). Eine Literaturübersicht berichtet Abweichungen der Panelschätzungen von den Querschnittschätzungen von 5 bis 15 %, mit großer Streuung selbst bei gleicher Fragestellung (Cantor 2007, S. 132, zitiert nach Schnell 2019, S. 327, Fn. 8).

Prüfen lässt sich der Effekt mit einem Vergleich: Befragen Sie parallel zur Panelwelle eine neue Stichprobe, die noch nie teilgenommen hat. Weichen die Ergebnisse stärker voneinander ab, als es die Zufallsschwankung der beiden Stichproben erklärt, kann das am wiederholten Fragen oder an den Ausfällen liegen (Schnell 2019, S. 64). Für kleine Vorhaben ist das selten machbar. Nennen Sie dann die Möglichkeit im Bericht, vor allem bei Themen, über die Ihre Befragten vor der ersten Welle kaum nachgedacht hatten.

Panelpflege: Einwilligung, Kontaktdaten, Erinnerungen

Panelpflege heißt alles, was dafür sorgt, dass die Teilnehmenden erreichbar bleiben und weiter mitmachen wollen (Schnell 2019, S. 338). Am stärksten wirkt, was Sie selbst in der Hand haben: Befragungsanreize und vor allem, wie angenehm die Befragten die vorherigen Wellen empfunden haben (ebd.). Wer die erste Welle als langweilig oder zeitraubend erlebt, stimmt einer Wiederholung kaum zu (Schnell 2019, S. 331).

Zwei Punkte verdienen einen Zusatz. Die Einwilligung ist selbst eine Auswahlstufe: Wer zustimmt, unterscheidet sich möglicherweise von denen, die ablehnen (Schnell 2019, S. 330). Zählen Sie deshalb, wie viele der Befragten der ersten Welle zugestimmt haben. Und bei den Kontaktdaten zählt die Haltbarkeit der Adresse: Eine Hochschuladresse endet oft mit dem Abschluss, eine Dienstadresse mit dem Arbeitgeber. Wer Absolventinnen und Absolventen oder ehemalige Kunden wieder erreichen will, bittet besser um eine private Adresse.

Panelbefragung mit QUESTIONSTAR

Eine eigene Panelbefragung setzen Sie in QUESTIONSTAR aus gewöhnlichen Bausteinen zusammen. Befragt werden Ihre eigenen Kontakte, ein Teilnehmerpanel stellt QUESTIONSTAR nicht bereit. Die Übersicht zeigt, was Sie einstellen. Darunter stehen die Einzelheiten und der Weg von zwei Exporten zur Übergangstabelle.

Der persönliche Link enthält eine zufällig erzeugte Kennung und darf deshalb nicht weitergegeben werden (Erkennung von wiederkehrenden Probanden).

Ein Schlüssel, der in beiden Wellen steht. Vergeben Sie jeder Person in der Kontaktliste eine persönliche ID und behalten Sie dieselbe ID in allen Wellen bei. Sie steht in den Antworten jeder Welle und dient als Schlüssel zum Verbinden. Ebenso können Sie eine eigene Teilnehmernummer oder die E-Mail-Adresse als Schlüssel verwenden. Die Kennung der einzelnen Antwort ist dagegen in jeder Welle neu und eignet sich nicht zum Verbinden. Prüfen Sie vor dem Versand mit einem Testkontakt, dass der Schlüssel in den Exporten beider Wellen gleich ausgegeben wird.

Anonymität bewusst einstellen. Die Anonymitätseinstellung hat zwei Stufen:

Für ein Panel bleibt in der strengeren Stufe nur der selbst erzeugte Code als Frage im Fragebogen, und anonym im strengen Sinn sind die so verbundenen Antworten dann nicht mehr. Berichte erscheinen dort erst, wenn zehn Personen den Fragebogen vollständig beantwortet haben. Beide Einstellungen lassen sich nicht zurücknehmen (Datenschutz-Einstellungen), entscheiden Sie also vor der ersten Welle. Außerdem legen Sie fest, welche Nutzer Ihres Kontos Zugriff auf die Ergebnisse oder auf die persönlichen Angaben haben.

Einwilligung per Double-Opt-in. Startet die erste Welle mit einem offenen Link, bitten Sie am Ende um die E-Mail-Adresse für die nächste Welle. Mit dem Double-Opt-in verschickt QUESTIONSTAR nach dem Ausfüllen eine Bestätigungs-E-Mail. Erst mit dem Klick auf den Link darin wird die Einwilligung wirksam, und die Adresse steht mit der Bestätigung in einer Kontaktliste, die Sie später herunterladen und für die Kontaktaufnahme verwenden können. Als Schlüssel dient hier die E-Mail-Adresse: Sie steht bei den Antworten der ersten Welle (bei getrennter Speicherung in der zweiten Exportdatei) und in der Kontaktliste. Oder Sie fragen schon in der ersten Welle den selbst erzeugten Code ab. Er ist eine gewöhnliche Textfrage, funktioniert in jeder Welle auch mit offenem Link und lässt sich über das Double-Opt-in als weiteres Feld in die Kontaktliste übernehmen.

Von zwei Exporten zur Übergangstabelle

Die Berichte arbeiten innerhalb einer Umfrage. Verschiedene Umfragen, also auch zwei Wellen, vergleichen sie nicht miteinander. Den Vergleich der Wellen rechnen Sie deshalb außerhalb der Berichte: in Excel oder mit einem KI-Assistenten.

In Excel sind es fünf Schritte:

1. Beide Wellen exportieren, als XLSX- oder CSV-Datei (für Statistikprogramme auch als SPSS-Datei). In beiden Dateien steht bei jeder Antwort die persönliche ID.
2. Die Antworten jeder Person nebeneinanderstellen. Legen Sie in der Tabelle der ersten Welle eine neue Spalte an und holen Sie mit der Excel-Funktion XVERWEIS über die persönliche ID die Antwort der zweiten Welle dazu. Die Formel steht im Beispiel unter dieser Liste. Jede Zeile ist dann eine Person mit beiden Antworten.
3. Ausgestiegene kennzeichnen. Wo die Funktion den Fehlerwert #NV zeigt, wurde die persönliche ID in der zweiten Datei nicht gefunden. Prüfen Sie zuerst, ob die IDs in beiden Dateien richtig und gleich geschrieben sind. Fehlt die Person tatsächlich in Welle 2, kennzeichnen Sie sie als ausgestiegen. Diese Zeilen brauchen Sie für den Vergleich von Verbliebenen und Ausgestiegenen. Für die Übergangstabelle filtern Sie sie heraus.
4. Antworten zusammenfassen, wenn Sie wie in den Rechenbeispielen zwei Gruppen bilden: in je einer weiteren Spalte Stufe 4 und 5 als zufrieden, Stufe 1 bis 3 als nicht zufrieden. Fehlende Antworten und „keine Angabe“ zählen zu keiner der beiden Gruppen. In die Übergangstabelle gehören nur Personen, die diese Frage in beiden Wellen beantwortet haben.
5. Mit einer Pivot-Tabelle auszählen. Das ist die Excel-Funktion, die zählt, wie oft jede Kombination vorkommt (Menü Einfügen, PivotTable). Ziehen Sie die Antwort aus Welle 1 in die Zeilen, die Antwort aus Welle 2 in die Spalten und die persönliche ID als Anzahl in die Werte. Das Ergebnis ist Ihre Übergangstabelle.

Schritt 2 an einem kleinen Beispiel (erfundene Zeilen). Kopieren Sie die Tabelle der zweiten Welle als zweites Blatt in die Datei der ersten Welle und nennen Sie die beiden Blätter „Welle1“ und „Welle2“. Im Beispiel steht in Spalte A die persönliche ID und in Spalte B die Antwort auf die Frage zur Zufriedenheit (Stufe 1 bis 5).

Blatt „Welle1“:

Blatt „Welle2“ (die Reihenfolge der Personen darf eine andere sein, Person 1004 hat nicht mehr geantwortet):

Schreiben Sie im Blatt „Welle1“ in die Zelle C2:

=XVERWEIS(A2;Welle2!A:A;Welle2!B:B)

In Worten: Nimm die ID aus A2, suche sie in Spalte A des Blatts „Welle2“ und gib aus derselben Zeile den Wert aus Spalte B zurück. Zwischen den drei Angaben steht in der deutschen Excel-Fassung ein Semikolon. Für Person 1001 liefert die Formel 5. Kopieren Sie die Formel nach unten in die Zellen C3 bis C5: Dort erscheinen 3, 4 und #NV, weil die ID 1004 im Blatt „Welle2“ nicht vorkommt. In älteren Excel-Versionen ohne XVERWEIS leistet =SVERWEIS(A2;Welle2!A:B;2;FALSCH) dasselbe, mit FALSCH als letzter Angabe, damit nur genaue Treffer zählen. In Ihrer Datei setzen Sie statt A und B die Spalten ein, in denen die persönliche ID und die Antwort tatsächlich stehen.

So sieht die verbundene Tabelle nach Schritt 4 aus (dieselben vier Personen):

Die Pivot-Tabelle zählt die Kombinationen der beiden letzten Spalten: Person 1001 landet im Feld „zufrieden geblieben“, 1002 und 1003 sind Wechsler, 1004 fehlt in Welle 2 und zählt in der Übergangstabelle nicht mit.

Der zweite Weg kommt ohne Excel aus. Sie verbinden QUESTIONSTAR über die MCP-Schnittstelle mit einem KI-Assistenten wie ChatGPT oder Claude und bitten ihn zum Beispiel: „Verbinde Welle 1 und Welle 2 über die persönliche ID der Befragten. Erstelle für die Frage zur Gesamtzufriedenheit eine Übergangstabelle (Stufe 4 und 5 gegen den Rest) und vergleiche die Antworten der ersten Welle zwischen denen, die in Welle 2 wieder geantwortet haben, und denen, die fehlen.“ Gerechnet wird vom Assistenten, nicht von QUESTIONSTAR. Prüfen Sie ein Ergebnis von Hand nach.

• McNemar-Test. Die Berichte von QUESTIONSTAR rechnen keinen McNemar-Test. Sie rechnen ihn mit den exportierten Daten in einem Statistikprogramm oder lassen ihn den Assistenten rechnen. Er braucht dafür nur die beiden Wechslerzahlen aus der Übergangstabelle, im zweiten Beispiel oben 40 und 18.
• Schutz personenbezogener Angaben. Als personenbezogen markierte Fragen werden bei aktivierter Schutzfunktion nicht an den Assistenten übertragen. Freitexte können trotzdem Namen enthalten, prüfen Sie vorher, was übertragen wird.

Übrigens: Am wenigsten Arbeit macht ein Panel, das von der ersten Welle an über eine Kontaktliste mit persönlichen Links läuft. Dann sehen Sie in jeder Welle, wer fehlt, erinnern nur diese Personen, und die persönliche ID verbindet die Antworten über alle Wellen.

Checkliste: Panelbefragung planen

• Frage geklärt: Geht es um die Entwicklung eines Gesamtwerts (Trendstudie oder Wiederholung ohne Kennung genügt) oder darum, wer sich verändert hat (Panel)?
• Zahl der Wellen und Abstand festgelegt, passend zur erwarteten Veränderung.
• Weg der Verknüpfung gewählt: dieselbe persönliche ID je Person in allen Wellen oder selbst erzeugter Code. Mit einem Testkontakt geprüft, dass derselbe Schlüssel in den Daten jeder Welle steht.
• Kernfragen festgelegt, die in jeder Welle wortgleich und mit derselben Skala gestellt werden.
• In der Einladung gesagt, dass es mehrere Wellen gibt, wozu die Antworten verbunden werden und wer die Zuordnung sieht. Betriebs- oder Personalrat und Datenschutz einbezogen, wo es sie gibt.
• Einwilligung in die erneute Kontaktaufnahme eingeholt, haltbare Kontaktadresse erfragt.
• Erste Welle größer geplant, als die letzte sein soll.
• Zwischen den Wellen Ergebnisse zurückgemeldet und die nächste Welle angekündigt.
• Nach jeder Welle: Wiederteilnahme ausgewiesen, Verbliebene und Ausgestiegene anhand der ersten Welle verglichen.
• Veränderungen nur für Personen berichtet, die in beiden Wellen geantwortet haben, dazu die Übergangstabelle.

Häufige Fragen zur Panelbefragung

Was ist eine Panelbefragung?

Eine Panelbefragung befragt dieselben Personen mehrmals mit (fast) demselben Fragebogen (Möhring und Schlütz 2019, S. 158). Die einzelnen Befragungen heißen Wellen. Weil sich die Antworten einer Person über die Wellen verbinden lassen, zeigt ein Panel nicht nur, ob sich ein Gesamtwert verändert hat, sondern auch, wer sich verändert hat.

Was ist der Unterschied zwischen Panel und Trendstudie?

Beide wiederholen eine Befragung. Die Trendstudie zieht jedes Mal eine neue Stichprobe, das Panel befragt dieselben Personen erneut und verbindet ihre Antworten. Eine Trendstudie zeigt deshalb nur Veränderungen der Gesamtwerte, etwa von Anteilen oder Mittelwerten. Veränderungen einzelner Personen lassen sich erst mit einem Panel feststellen (Schumann 2019, S. 111-112). Eine anonyme Wiederholung bei denselben Personen lässt sich nur wie eine Trendstudie auswerten.

Was ist eine Längsschnittstudie?

Eine Längsschnittstudie untersucht dieselbe Frage zu mehreren Zeitpunkten, im Gegensatz zur Querschnittstudie mit nur einer Befragung (Jacob et al. 2019, S. 94). Zu den Längsschnittstudien zählen das Panel (dieselben Personen), die Trendstudie (jedes Mal neue Personen) und die Kohortenstudie, ein Panel aus Personen, die dasselbe Ereignis zur selben Zeit erlebt haben, etwa den Studienbeginn im selben Semester (Schnell 2019, S. 325).

Was ist Panelmortalität?

Panelmortalität, auch Panel-Attrition, bezeichnet den Schwund der Teilnehmenden von Welle zu Welle: Ein Teil derer, die in der ersten Welle geantwortet haben, antwortet später nicht mehr (Schumann 2019, S. 112). Problematisch ist das vor allem, wenn bestimmte Gruppen häufiger aussteigen als andere, weil die Verbliebenen dann nicht mehr dieselbe Gruppe abbilden.

Was ist ein Paneleffekt?

Ein Paneleffekt (Panel-Conditioning) liegt vor, wenn die wiederholte Befragung selbst die Antworten verändert, etwa weil die Befragten aufmerksamer für das Thema werden (Schnell 2019, S. 327). Bei den meisten Fragestellungen scheint der Effekt eher gering zu sein (ebd.). Prüfen lässt er sich mit einer parallel befragten neuen Stichprobe.

Kann eine Panelbefragung anonym sein?

Nicht im strengen Sinn, denn die Antworten einer Person müssen sich über eine Kennung verbinden lassen. Möglich ist ein Panel ohne Namen und Adressen: Die Befragten bilden in jeder Welle nach derselben Anleitung einen persönlichen Code. Die Daten bleiben dabei pseudonym, und ein Teil der Codes wird beim zweiten Mal anders gebildet: In einer Schülerstudie stimmten nur rund 60 % der gefundenen Zuordnungen exakt überein (Pöge 2008, S. 64). Eine Befragung ganz ohne Kennung lässt sich über die Zeit nur wie eine Trendstudie auswerten.

Wie viele Personen brauche ich für ein Panel?

So viele, dass in der letzten Welle noch genug übrig sind. Eine Faustregel sagt: doppelt so viele, wie nach fünf Wiederholungen noch enthalten sein sollen (Möhring und Schlütz 2019, S. 160-161). Besser rechnen Sie mit Ihrer eigenen Wiederteilnahme: Bei 80 % von Welle zu Welle bleiben von 400 Personen in der dritten Welle 256.

Quellen

Cantor, D. (2007). A Review and Summary of Studies on Panel Conditioning. In S. Menard (Hrsg.), Handbook of Longitudinal Research: Design, Measurement, and Analysis (S. 123-138). Amsterdam: Academic Press. Zitiert nach Schnell (2019), S. 327, Fn. 8.

Grube, J. W., Morgan, M. und Kearney, K. A. (1989). Using Self-Generated Identification Codes to Match Questionnaires in Panel Studies of Adolescent Substance Use. Addictive Behaviors, 14, 159-171. Zitiert nach Pöge (2008), S. 60.

Jacob, R., Heinz, A. und Décieux, J. P. (2019). Umfrage. Einführung in die Methoden der Umfrageforschung (4. Aufl.). Berlin/Boston: De Gruyter Oldenbourg.

Malhotra, N. K. und Birks, D. F. (2007). Marketing Research: An Applied Approach (3rd European ed.). Harlow: Pearson. Kapitel 3, Research design, S. 74-78, und S. 303 (Bedingungen für Kausalität).

Möhring, W. und Schlütz, D. (2019). Die Befragung in der Medien- und Kommunikationswissenschaft. Eine praxisorientierte Einführung (3. Aufl.). Wiesbaden: Springer VS. DOI 10.1007/978-3-658-25865-8.

Pöge, A. (2008). Persönliche Codes „reloaded“. Methoden, Daten, Analysen (mda), 2(1), 59-70. Volltext bei SSOAR.

Scherer, H. (2000). Wählt das Panel anders? In H. Bohrmann, O. Jarren, G. Melischek und J. Seethaler (Hrsg.), Wahlen und Politikvermittlung durch Massenmedien (S. 213-234). Opladen: Westdeutscher Verlag. Zitiert nach Möhring und Schlütz (2019), S. 160.

Schnell, R. (2019). Survey-Interviews. Methoden standardisierter Befragungen (2. Aufl.). Wiesbaden: Springer VS. DOI 10.1007/978-3-531-19901-6.

Schnell, R., Bachteler, T. und Reiher, J. (2006). Die Anwendung statistischer Record-Linkage-Methoden auf selbstgenerierte Codes bei Längsschnitterhebungen. ZA-Information, 59, 128-142. Zitiert nach Pöge (2008), S. 60.

Schumann, S. (2019). Repräsentative Umfrage. Praxisorientierte Einführung in empirische Methoden und statistische Analyseverfahren (7. Aufl.). Berlin/Boston: De Gruyter Oldenbourg.

Waterton, J. und Lievesley, D. (1989). Evidence of Conditioning Effects in the British Social Attitudes Panel Survey. In D. Kasprzyk, G. Duncan, G. Kalton und M. P. Singh (Hrsg.), Panel Surveys (S. 319-339). New York: Wiley. Zitiert nach Schnell (2019), S. 327.

Ich wünsche Ihnen Panels, in denen die meisten bis zur letzten Welle bleiben, und Vergleiche, die zeigen, wer sich bewegt hat.

Übrigens, das hier ist verwandt:

• Mitarbeiterbefragung: Ablauf, Fragen und Auswertung
• Rücklaufquote: berechnen, bewerten und erhöhen
• Welcher statistische Test passt? Übersicht mit Beispielen

Dr. Paul Marx

Autor: Dr. Paul Marx
Dr. Paul Marx ist Gründer und Geschäftsführer von QUESTIONSTAR und war Professor für Marketing an der Universität Siegen.