Offene Fragen: richtig stellen und auswerten

Wann offene Fragen sinnvoll sind, wie Sie sie formulieren und freie Antworten in Kategorien kodieren, zählen und berichten. Mit Rechenbeispiel und KI-Tipps.

Kurz gesagt: Eine offene Frage gibt keine Antworten vor, die Befragten antworten in eigenen Worten (Möhring und Schlütz 2019, S. 73). Sie lohnt sich, wenn Sie die möglichen Antworten noch nicht kennen, wenn Vorgaben das Ergebnis beeinflussen würden oder wenn es sehr viele mögliche Antworten gibt (Schnell 2019, S. 69). Offene Textantworten werden zur Auswertung meist nachträglich in Kategorien eingeordnet (ebd., S. 72) und gezählt, am besten nach einem Codebuch und mit einer zweiten Person zur Kontrolle.

Wir gehen die Sache der Reihe nach durch. Sie erfahren:

• wann offene Fragen sinnvoll sind und wann geschlossene besser passen,
• wie Sie offene Fragen formulieren, damit brauchbare Antworten kommen,
• wie Sie offene Antworten in Kategorien kodieren, mit einem durchgerechneten Beispiel,
• wie Sie prüfen, ob die Kodierung zuverlässig ist, und wie Sie die Ergebnisse berichten und zitieren,
• was KI beim Kodieren leisten kann und wo Sie selbst prüfen müssen.

Offene Fragen sind die Lieblinge vieler Auftraggeber und das Sorgenkind vieler Auswertungen. Mit einigen Regeln werden aus freien Texten belastbare Ergebnisse.

Offene und geschlossene Fragen: Wann sind offene Fragen sinnvoll?

Möhring und Schlütz halten fest: Offen ist nicht die Frage, sondern die Antwort. Es werden keine Antwortalternativen vorgegeben, die Befragten können sich innerhalb eines vorgegebenen Rahmens nach Belieben äußern (2019, S. 73). Bei einer geschlossenen Frage stehen dagegen neben dem Fragetext auch die Antworten zur Auswahl (ebd., S. 75).

Drei Gründe für eine offene Frage nennt Schnell: Die möglichen Antworten sind in einer explorativen Studie tatsächlich unbekannt, die Antwortvorgabe soll das Antwortverhalten in keiner Weise beeinflussen, oder es wird eine sehr große Zahl möglicher Antworten erwartet (2019, S. 69). Möhring und Schlütz ergänzen: Offene Fragen messen Wissen strenger. Was Esperanto ist, konnten bei offener Frage 35 % richtig angeben, mit Antwortvorgaben 52 % (Noelle-Neumann und Petersen 2005, zitiert nach Möhring und Schlütz 2019, S. 73). Sie erfassen spontane Assoziationen und das, was jemandem „top of mind“ ist, und sie zeigen den Befragten, dass ihre persönliche Meinung zählt (ebd., S. 74).

Dem stehen gewichtige Nachteile gegenüber. Offene Fragen verlangen Ausdrucksfähigkeit und Motivation, die Antworten fallen deshalb oft dürftig aus, und die Auswertung ist sehr aufwendig (Möhring und Schlütz 2019, S. 75). Nach Malhotra und Birks geben offene Fragen wortgewandten Befragten implizit mehr Gewicht (2007, S. 381). In Web-Befragungen steigt bei offenen Fragen außerdem das Abbruchrisiko (Schnell 2019, S. 71).

Mein Lehrbuch fasst die Abwägung so zusammen: unbegrenzte Möglichkeiten gegen komplexe Codierung (Marx 2026, Folie 81).

Dazwischen liegt die halboffene oder Hybridfrage: Sie gibt Antworten vor und bietet zusätzlich „Anders, und zwar …“ mit einem Textfeld (Jacob et al. 2019, S. 105). Weil meist nur wenige diese Option wählen, hält sich der Kodieraufwand in Grenzen (Schumann 2019, S. 60-61).

Für die Praxis heißt das: In einer Umfrage mit vielen Befragten ist die geschlossene Frage der Normalfall (siehe Fragebogen gestalten). Offene Fragen setzen Sie gezielt ein: zur Erkundung, für Gründe nach einer kritischen Bewertung, für das, was in einer Liste fehlt, und als Schlussfrage (Malhotra und Birks 2007, S. 381).

Erst offen erkunden, dann geschlossen messen. Eine offene Frage zeigt, welche Themen es gibt. Wie verbreitet ein Thema ist, misst eine geschlossene Frage besser. Häufig kombiniert man deshalb eine offene Abfrage mit einer folgenden geschlossenen (Möhring und Schlütz 2019, S. 74). Oder Sie stellen die offene Frage im Pretest und bauen aus den Antworten die Liste für die Hauptbefragung.

Wie formuliert man offene Fragen?

Bei einer geschlossenen Frage erklären die Antwortvorgaben, was gemeint ist. Bei einer offenen Frage fehlt diese Hilfe, deshalb muss der Fragetext selbst genau sein (Möhring und Schlütz 2019, S. 74). Jacob et al. sprechen von der „Multi-Dimensionalität“ offener Fragen: Es bleibt weitgehend den Befragten überlassen, worauf sie sich beziehen (2019, S. 143). Ihr Beispiel: Auf „Wo wohnen Sie?“ kann jemand das Bundesland, den Kreis, die Gemeinde oder die genaue Adresse eintragen. Wer den Wohnort wissen will, fragt „Wie heißt Ihr Wohnort?“ (ebd.).

Sechs Regeln helfen.

Ein Gegenstand pro Frage. Fragen Sie Lob und Kritik getrennt, sonst lassen sich die Antworten später kaum trennen.

Konkret statt allgemein. „Haben Sie Anmerkungen?“ lädt zu allem und nichts ein. Als Schlussfrage ist das ein sinnvolles Ventil (Malhotra und Birks 2007, S. 381). Wenn Sie aber etwas Bestimmtes wissen wollen, fragen Sie danach: Geben Sie ein Thema und eine Richtung vor, aber keine Antwort.

Beispiele, wenn die Art der Antwort unklar ist. Ist bei der Frage nach dem Lieblingswein die Farbe gemeint, die Herkunft oder die Rebsorte? Beispiele verdeutlichen den Bezugsrahmen und dienen als Erinnerungsstütze (Tourangeau et al. 2017, zitiert nach Möhring und Schlütz 2019, S. 74). Weil sich Befragte an Beispielen orientieren, lassen sich die Antworten besser zusammenfassen (Möhring und Schlütz 2019, S. 74). Nehmen Sie deshalb Beispiele, die die Art der Antwort zeigen, nicht ein bestimmtes Thema.

Vorsicht mit „Warum?“. Jacob et al. raten von Warum-Fragen ab, weil sie Befragte unter Rechtfertigungsdruck setzen (2019, S. 154). Möhring und Schlütz sehen dagegen gerade in der Frage nach Gründen einen Zweck offener Fragen (2019, S. 74). Ein gangbarer Mittelweg: Fragen Sie nach Gründen, wenn Sie sie wirklich brauchen, aber nicht als Verhör, sondern nach einem konkreten Anlass (dritte Zeile der Tabelle).

Sparsam und freiwillig. Möhring und Schlütz raten, offene Fragen rar zu halten, weil der Aufwand oft in keinem Verhältnis zum Ertrag steht (2019, S. 189). Beschränken Sie sich auf die offenen Textfragen, die Sie auch wirklich auswerten werden, und machen Sie keine zur Pflicht: Wer nichts zu sagen hat, schreibt sonst „nichts“ oder „xxx“ oder bricht ab.

Die richtige Stelle. Eine Nachfrage nach Gründen steht direkt nach der Bewertung, auf die sie sich bezieht, eine allgemeine offene Frage am Anfang eines Themas oder am Ende des Fragebogens.

Allgemeine Regeln für gute Fragen finden Sie im Artikel Fragen formulieren.

Offene Fragen auswerten: Wie kodiert man offene Antworten?

Die Auswertung offener Textantworten besteht nahezu immer in der nachträglichen Einordnung in Kategorien (Schnell 2019, S. 72). Offene Zahlenangaben können Sie dagegen direkt als Zahlen auswerten (Jacob et al. 2019, S. 183). Schumann beschreibt das Prinzip: Jeder offenen Antwort wird ein Zahlenwert zugewiesen, der einer Antwortkategorie entspricht. Danach lässt sich die Frage formal wie eine geschlossene auswerten (2019, S. 59). Verschiedene Formulierungen landen dabei in derselben Kategorie, „Wir müssen die Umwelt vor Zerstörung schützen!“ und „Die Umweltverschmutzung muss gestoppt werden!“ etwa beide unter „Umweltschutz“ (ebd., Fn. 98). Die so gebildeten Kategorien sind nominal: Sie können Häufigkeiten zählen, aber aus den Codenummern keinen Mittelwert bilden (Weinreich und von Lindern 2008, S. 107, siehe Skalenniveau).

Wenn kein passendes Kategorienschema vorhanden ist, muss eines entwickelt werden (Schumann 2019, S. 59). Es gibt also zwei Wege:

• Vorab festgelegt: Die Kategorien stammen aus der Fragestellung, einer früheren Welle oder einem Modell. Vorteil: vergleichbar über Wellen hinweg, sofern Definitionen und Zuordnungsregeln gleich bleiben. Neue Kategorien können eine Nachkodierung früherer Antworten erfordern. Gefahr: Sie übersehen, was Sie nicht erwartet haben.
• Aus den Antworten entwickelt: Ein Kreis von Fachleuten liest zumindest einen Teil der Antworten, mindestens 50 (bei weniger Antworten alle), diskutiert die Inhalte und bildet daraus Kategorien (Weinreich und von Lindern 2008, S. 106). Vorteil: Sie finden Neues. Gefahr: Jede Welle bekommt ein anderes Schema.

In Methodenbüchern finden Sie die beiden Wege unter den Namen deduktive und induktive Kategorienbildung. In der Praxis mischt man beides: Sie starten mit den Kategorien, die Sie erwarten, und ergänzen, was die Antworten zeigen.

Malhotra und Birks geben dafür zwei Regeln. Erstens sollen die Kategorien sich gegenseitig ausschließen und zusammen alle Antworten abdecken. Für die Vollständigkeit sorgt eine Kategorie „Sonstiges“, in die aber höchstens 10 % der Antworten fallen sollten. Zweitens bekommen wichtige Themen eine eigene Kategorie, auch wenn niemand sie nennt, denn auch das ist ein Ergebnis (2007, S. 484-485). Zur Größenordnung: 1.000 unterschiedlich formulierte Antworten können auf etwa 20 Themen hinauslaufen (ebd., S. 484).

Ein Code oder mehrere? Malhotra und Birks und Schumann gehen von einem Code je Antwort aus. In der Praxis enthält eine Antwort oft mehr als ein Thema: „Kürzere Wartezeit und besser geschulte Mitarbeiter“ spricht zwei an. Die Regel „sich gegenseitig ausschließen“ gilt dann je Aussage: Jedes einzelne Thema gehört in genau eine Kategorie, die Antwort als Ganzes kann mehrere Codes bekommen. Weinreich und von Lindern sehen ausdrücklich vor, dass eine Antwort mehreren Kategorien zugeordnet wird (2008, S. 107). Technisch legen Sie dann wie bei Mehrfachantworten für jede Kategorie eine eigene Spalte an, mit 1 für „trifft zu“ und 0 für „trifft nicht zu“ (Möhring und Schlütz 2019, S. 189; Jacob et al. 2019, S. 182, Fn. 17). Wer zusätzlich genau einen Wert je Antwort braucht, legt einen Hauptcode fest, zum Beispiel das zuerst genannte Thema. Im Beispiel unten zählen die Häufigkeiten alle Codes, die Prüfung der Übereinstimmung nutzt den Hauptcode.

Schumann rät außerdem zu einem möglichst feinen Schema: Feine Kategorien lassen sich später je nach Fragestellung zu gröberen zusammenfassen (2019, S. 59, Fn. 99).

Alles, was Sie dabei entscheiden, gehört in ein Codebuch, die Sammlung der Kodieranweisungen (Malhotra und Birks 2007, S. 483). Für offene Fragen genügt pro Kategorie dieses Format:

Dazu kommen zwei Codes: „Sonstiges“ für Inhalte ohne eigene Kategorie und „nicht verwertbar“ für Antworten ohne Inhalt wie „-“ oder „xxx“. Halten Sie die beiden auseinander: „Sonstiges“ enthält auswertbare Inhalte, „nicht verwertbar“ nicht.

Muss man immer kodieren? Bei 20 bis 50 kurzen Antworten genügt nach Weinreich und von Lindern oft eine geordnete Liste. Bei mehr Antworten verliert man darin die Übersicht, und wer die Themen mit anderen Fragen in Beziehung setzen will, muss kodieren (2008, S. 106).

Durchgerechnet: 24 Antworten, sechs Kategorien

Ein erfundenes Beispiel macht die Schritte greifbar. Ein Unternehmen befragt 40 Kundinnen und Kunden und stellt am Ende die freiwillige Frage „Was sollten wir an unserem Kundenservice als Erstes verbessern?“. 26 schreiben etwas, das sind 65 %. Zwei Antworten sind nicht verwertbar („-“ und „weiß nicht“), bleiben 24 Antworten zum Kodieren. Das Codebuch hat sechs Kategorien: E Erreichbarkeit und Reaktionszeit, K Kompetenz und Lösung, R Rückmeldung und Information, F Ton und Freundlichkeit, L Lob oder nichts zu verbessern, S Sonstiges.

Einige der Antworten und ihre Codes:

E, K, R und F erfassen hier Verbesserungsbedarf, auch wenn er als Wunsch formuliert ist. L erfasst ausschließlich positive Antworten oder die Aussage, dass nichts zu verbessern ist. Deshalb erhält die dritte Antwort nur K: Sie enthält „freundlich“, kritisiert aber die fehlende Lösung. Zwei der 24 Antworten bekommen zwei Codes, insgesamt gibt es 26 Nennungen. Das Ergebnis:

Drei Dinge fallen auf. Die Spalte „% der Antworten“ summiert sich auf 108,3 %, weil zwei Antworten zwei Themen enthalten. „Sonstiges“ bleibt mit 8,3 % unter der Obergrenze von 10 % (Malhotra und Birks 2007, S. 485). Und dieselben acht Nennungen zur Erreichbarkeit ergeben je nach Basis 20,0 %, 30,8 % oder 33,3 %. Welche Zahl die richtige ist, klärt der Abschnitt Berichten.

Wie prüft man, ob die Kodierung zuverlässig ist?

Bei einer offenen Frage entscheidet ein Mensch, welcher Kategorie eine Antwort angehört, und zwei Menschen entscheiden nicht immer gleich. Schumann weist darauf hin, dass gerade bei der Kodierung offener Antworten die Auswertungsobjektivität fehlen kann (2019, S. 29, Fn. 20): Nicht jeder, der auswertet, kommt zum selben Ergebnis (siehe Reliabilität und Validität).

Die Antwort der Praxis ist eine zweite Person. Weinreich und von Lindern empfehlen, die Antworten von mindestens zwei Personen unabhängig kodieren zu lassen, die Kodierungen zu vergleichen und Abweichungen nachzukodieren, häufig mit einer dritten Person, die entscheidet (2008, S. 107).

Im Beispiel kodieren A und B unabhängig voneinander je einen Hauptcode für jede der 24 Antworten. Bei 21 Antworten wählen beide denselben Code, das sind 87,5 % Übereinstimmung. Bei drei Antworten weichen sie ab:

Die 87,5 % berücksichtigen noch nicht, wie viel Übereinstimmung allein aufgrund der Häufigkeiten der Kategorien zu erwarten wäre. Cohens Kappa korrigiert die beobachtete Übereinstimmung um diese Zufallserwartung (Cohen 1960). Die Formel:

Ein Kappa von 1 bedeutet perfekte Übereinstimmung, 0 bedeutet nicht mehr als Zufall. Weinreich und von Lindern sprechen von guter Übereinstimmung ab einem Wert oberhalb von 0,7 (2008, S. 107). Rechnerisch liegt das Beispiel mit 0,84 darüber. Bei nur 24 Antworten ist der Wert aber vorsichtig zu lesen. Eine vereinfachte Rechnung, die die Zufallserwartung als fest behandelt, ergibt einen Standardfehler von etwa 0,08. Sie veranschaulicht die Unsicherheit, liefert aber kein belastbares Konfidenzintervall für Kappa. Nehmen Sie die 0,84 deshalb als Hinweis, nicht als Nachweis.

Dieses Kappa bezieht sich auf den Hauptcode, also auf genau einen Code je Antwort. Kodieren Sie mehrere Themen je Antwort, berechnen Sie Kappa für jede Kategorie einzeln aus der 0/1-Spalte.

Wichtiger als die Zahl ist, was Sie mit den Abweichungen machen: Jede ist ein Hinweis, wo das Codebuch unklar ist. Im Beispiel kommen die drei Regeln aus der rechten Spalte ins Codebuch. Danach prüfen beide alle Antworten, die von den Änderungen betroffen sein können, und kodieren sie bei Bedarf neu.

Bei 200 Kommentaren muss nicht alles doppelt kodiert werden. Eine zweite Person kodiert zuerst eine Stichprobe, als Faustwert etwa 50 Antworten. Sie klären die Abweichungen, schärfen das Codebuch und kodieren dann den Rest. In Abschlussarbeiten und Studienberichten gehört die Übereinstimmung mit Kennzahl in den Methodenteil.

Eine Warnung von Malhotra und Birks gehört dazu: Wer nur noch kodiert, was eindeutig an der Oberfläche steht, erreicht Zuverlässigkeit unter Umständen auf Kosten der Gültigkeit (2007, S. 251).

Wie berichtet man offene Antworten?

Im Bericht zählen drei Dinge: die Basis der Prozentwerte, die Grenzen einer Häufigkeit und der richtige Platz für Zitate. Mit der 0/1-Spalte je Kategorie können Sie die Themen außerdem mit anderen Fragen kreuzen (vgl. Weinreich und von Lindern 2008, S. 106).

Die Basis nennen. Als Standard eignet sich „% der Personen mit verwertbarer Antwort“, hier 33,3 %, weil diese Zahl zeigt, wie viele derer, die sich geäußert haben, ein Thema nennen. Nennen Sie die Basis dazu: „8 von 24 Personen, die eine verwertbare Antwort gegeben haben“. Bei kleinen Zahlen sind absolute Werte ehrlicher als Prozente mit Nachkomma: „8 von 24“ verspricht keine Genauigkeit, die es nicht gibt.

Häufigkeit ist nicht Verbreitung. Dass 8 von 40 Personen die Erreichbarkeit nennen, heißt nicht, dass nur 20 % sie für verbesserungswürdig halten. Wer etwas schreibt, kann sich systematisch von denen unterscheiden, die nichts schreiben: In einer Befragung von 661 Personen in einer militärischen Organisation kommentierten vor allem Unzufriedene (Poncheri et al. 2008, zitiert nach Schnell 2019, S. 71). Linke berichtet Ähnliches aus Mitarbeiterbefragungen (2018, S. 40). Und nicht jeder, der ein Problem hat, nennt es spontan. Wie verbreitet ein Thema ist, misst eine geschlossene Frage (siehe auch Mitarbeiterbefragung).

Zitate als Beleg, nicht als Beweis. Weinreich und von Lindern beschreiben, wie Freitexte die Aufmerksamkeit magisch auf sich ziehen, auch wenn hinter einer Grafik 300 Befragte stehen und hinter dem Zitat drei oder vier. Die Kodierung weist freien Texten einen angemessenen, oft untergeordneten Rang zu (2008, S. 108). Zitate veranschaulichen eine Kategorie, deren Größe Sie vorher in Zahlen gezeigt haben. Wählen Sie typische, nicht die drastischsten.

So kann eine Ergebniszeile im Bericht aussehen:

Antworten verantwortungsvoll zitieren

Offene Antworten sind der Teil einer Umfrage, in dem Anonymität am leichtesten verloren geht. Ein einzelner Skalenwert verrät selten, wer geantwortet hat. Ein Satz wie „Seit ich als einzige Frau im Lager arbeite …“ kann in einem kleinen Betrieb eindeutig sein.

Wiertalla beschreibt eine Mitarbeiterbefragung, in der Kommentare zum Schutz der Schreibenden nur für Führungskräfte ausgewertet wurden, die mindestens 50 direkte und indirekte Mitarbeitende führten, in der Regel also nur auf Geschäftsleitungs- und Director-Ebene. Den Beschäftigten war diese Regel nicht bekannt (2013, S. 157). Malhotra und Birks mahnen besondere Sorgfalt an, wenn Angaben zur Stichprobe zu viel verraten und wenn wörtliche Zitate im Bericht stehen, vor allem in der Mitarbeiterforschung (2007, S. 425). Daraus ergeben sich fünf Regeln:

1. Kein Zitat aus kleinen Gruppen. Zeigen Sie Zitate nicht nach Abteilung, Team oder Standort, wenn die Gruppe klein ist. Legen Sie die Grenze vorab fest und halten Sie sie ein. Für wörtliche Zitate sollte sie eher höher liegen als für Skalenwerte, denn Text ist leichter wiederzuerkennen.
2. Identifizierende Details entfernen. Namen, Orte, Daten, seltene Funktionen und sehr persönliche Umstände streichen Sie und kennzeichnen die Stelle mit [...] oder einem neutralen Platzhalter wie [Name].
3. Den Sinn nicht verändern. Kürzen ja, umformulieren nein. Tippfehler dürfen Sie korrigieren, wenn sonst jemand am Schreibstil erkennbar wäre.
4. Nicht kombinieren. Ein unauffälliges Zitat wird auffällig, wenn daneben „Abteilung Einkauf, über 55, Führungskraft“ steht.
5. Ankündigen, was passiert. Wenn Sie Antworten wörtlich weitergeben wollen, sagen Sie das in der Einleitung, und sagen Sie, wer die Kommentare liest. Im Fall bei Wiertalla erfuhren viele Beschäftigte genau das nicht (2013, S. 157).

Schreiben Befragte Namen, Gesundheitsangaben oder Kontaktdaten in ein Textfeld, sind das personenbezogene Daten, auch in einer sonst anonymen Umfrage (siehe Datenschutz bei Online-Umfragen). Wie Sie kleine Gruppen in Berichten schützen, steht im Artikel Soziale Erwünschtheit.

Offene Antworten mit KI kodieren: was geht, was nicht

Die Methodenliteratur, auf die sich dieser Artikel stützt, ist älter als heutige Sprachmodelle. Was folgt, ist deshalb meine Einschätzung und Arbeitsweise, kein Literaturbefund.

Weinreich und von Lindern schrieben über die Programme ihrer Zeit, sie könnten Texte nicht verstehen und müssten von menschlichen Kodierenden trainiert werden (2008, S. 107-108). Linke schreibt, in der Praxis stelle man „regelmäßig fest, dass sich gar die Bedeutung eines Kommentares durch die automatisierte Codierung geändert hat“ (2018, S. 40). Wie gut heutige Modelle bei Ihren Daten kodieren, wissen Sie erst, wenn Sie es an einer Stichprobe geprüft haben. Sechs Regeln:

Wie viel Kontrolle nötig ist, hängt vom Zweck ab. Nach meiner Einschätzung kodieren heutige Sprachmodelle Freitexte inzwischen sehr brauchbar. In der Praxis, etwa bei Kundenfeedback oder einer internen Befragung, können Sie die Kodierung deshalb weitgehend der KI überlassen, wenn die Stichprobe aus Regel 3 gut übereinstimmt. Für eine wissenschaftliche Arbeit gilt ein strengerer Maßstab: Dort kodiert ein Mensch mit, und Sie legen offen, wie Sie vorgegangen sind.

Drei Grenzen gehören dazu.

Für wissenschaftliche Arbeiten bleibt die zweite Person der Maßstab. Auch bei guter Übereinstimmung zwischen Ihnen und der KI bleibt die unabhängige Kodierung durch eine zweite menschliche Person der Maßstab aus dem Abschnitt Übereinstimmung. Geben Sie an, wer oder was kodiert hat.

Das Ergebnis ist nicht von selbst wiederholbar. Ein Sprachmodell kann dieselbe Antwort bei einem zweiten Durchlauf anders kodieren, und Modelle werden laufend ersetzt. Ihr Ergebnis ist deshalb die gespeicherte Tabelle mit den Codes, zusammen mit Modell, Datum, Anweisung und Codebuch (Regel 6). Wer es genau wissen will, lässt eine Stichprobe zweimal kodieren und vergleicht.

Freitexte können personenbezogene Daten enthalten. Prüfen Sie vor der Übergabe an einen KI-Dienst, welche Antworten er zu sehen bekommt und ob Sie die Daten dorthin geben dürfen (zu QUESTIONSTAR siehe den nächsten Abschnitt).

Offene Fragen in QUESTIONSTAR

QUESTIONSTAR nimmt Ihnen das Denken beim Kodieren nicht ab, erleichtert aber das Fragen und den Weg zur Auswertung.

Im Export ist die Summe einer 0/1-Spalte die Zahl der Nennungen, geteilt durch die Zahl der verwertbaren Antworten ergibt sie den Anteil. In SPSS kreuzen Sie die Spalten mit den übrigen Fragen. Mehr zur Wortwolke im Artikel Auswertung von Online-Umfragen.

Mit KI-Assistent. Ist QUESTIONSTAR über die MCP-Schnittstelle mit einem KI-Assistenten verbunden, etwa in ChatGPT oder Claude, liest der Assistent die Antworten Ihrer Umfrage direkt und kann sie nach Ihrem Codebuch kodieren. Es kodiert der Assistent, nicht QUESTIONSTAR. Laut Hilfe gibt der MCP-Server Namen, E-Mail-Adressen und ähnliche Kontaktdaten der Befragten nicht heraus, und der KI-Anbieter ist ein eigenständiger Verarbeiter, dessen Vertrag zur Auftragsverarbeitung Sie gesondert prüfen sollten (ebd.). Außerdem gilt in QUESTIONSTAR: Fragen, die Sie in der Umfrage als personenbezogen markiert haben, werden bei eingeschalteter Einstellung nicht an den Assistenten übergeben, auch wenn es Textfragen sind. Freitexte ohne diese Markierung prüfen Sie selbst.

Private Fragen. Fragen, die personenbezogene Daten erheben, markieren Sie in den Datenschutz-Einstellungen als „Private Frage“. Ihre Antworten werden in der Auswertung und im Rohdatenexport erst angezeigt, wenn mindestens zehn vollständig ausgefüllte Fragebögen vorliegen (ebd.). Eine Textfrage, in der Sie mit Namen oder sehr persönlichen Angaben rechnen, sollten Sie so markieren. Entscheiden Sie das vor dem Start: Nach dem ersten Start der Umfrage lässt sich die Markierung nicht mehr entfernen, Sie können nur noch weitere Fragen markieren (ebd.). Die Grenze von zehn Fragebögen gilt für die ganze Umfrage. Kleine Abteilungen in einem gefilterten Bericht schützt sie nicht.

Checkliste: offene Fragen stellen und auswerten

1. Für jede offene Frage klären: Erkundung, Gründe, sehr viele mögliche Antworten oder Häufigkeit? Wenn keiner der Gründe passt, geschlossen fragen.
2. Ein Gegenstand pro Frage, konkretes Thema, wenn nötig ein Beispiel für die Art der Antwort. Wenige offene Textfragen, freiwillig, an der richtigen Stelle.
3. Für bekannte Antworten mit möglichem Rest: halboffen mit „Anders, und zwar …“.
4. Codebuch anlegen: Name, Definition, Abgrenzung, Ankerbeispiele, Regel für Mehrfachthemen, „Sonstiges“, „nicht verwertbar“.
5. Kategorien fein und trennscharf: Jede einzelne Aussage passt in genau eine, zusammen decken sie alles ab, „Sonstiges“ höchstens 10 %.
6. Eine Stichprobe von einer zweiten Person gegenkodieren lassen, Übereinstimmung und Kappa berechnen, Codebuch schärfen. Eine KI-Kodierung genauso prüfen und Modell, Datum, Anweisung und Codebuch festhalten.
7. Zählen mit Basis: „x von n Personen mit verwertbarer Antwort“, dazu wie viele die Frage sahen und wie viele nichts schrieben. Häufigkeit nicht als Verbreitung lesen.
8. Zitate typisch statt drastisch, mit Zahl dazu, ohne identifizierende Details, nicht aus kleinen Gruppen.

Häufige Fragen zu offenen Fragen

Was ist eine offene Frage?

Eine offene Frage gibt keine Antwortmöglichkeiten vor. Die Befragten antworten in eigenen Worten, als Text oder Zahl. Offen ist also die Antwort, nicht die Frage (Möhring und Schlütz 2019, S. 73).

Was sind Beispiele für offene Fragen?

Als Text: „Was sollten wir an unserem Kundenservice als Erstes verbessern?“ Als Zahl: „An wie vielen Tagen in den letzten sieben Tagen haben Sie die App genutzt?“ Halboffen: eine Liste von Kontaktkanälen mit der Option „Anders, und zwar …“ und einem Textfeld.

Was sind Vor- und Nachteile offener Fragen, und wann lohnen sie sich?

Offene Fragen beeinflussen die Antworten weniger und liefern eigene Worte. Sie bevorzugen aber Wortgewandte (Malhotra und Birks 2007, S. 381), sind aufwendig auszuwerten und erhöhen online das Abbruchrisiko (Schnell 2019, S. 71). Sie lohnen sich, wenn die möglichen Antworten unbekannt sind, wenn Vorgaben das Ergebnis beeinflussen würden oder wenn es sehr viele mögliche Antworten gibt (ebd., S. 69).

Wie wertet man offene Fragen aus?

Offene Textantworten werden in Kategorien eingeordnet und dann gezählt (Schnell 2019, S. 72). Dazu legen Sie ein Codebuch mit klar definierten, trennscharfen Kategorien an, ordnen jede Aussage einer Kategorie zu und berichten die Häufigkeiten mit Basis. Eine zweite Person sollte zumindest eine Stichprobe gegenkodieren (Weinreich und von Lindern 2008, S. 107).

Was ist ein Kategoriensystem für offene Antworten?

Ein Kategoriensystem legt fest, in welche Gruppen offene Antworten eingeordnet werden, vorab festgelegt (deduktiv) oder aus den Antworten entwickelt (induktiv). Die Kategorien sollen sich gegenseitig ausschließen und zusammen alle Antworten abdecken, „Sonstiges“ höchstens 10 % (Malhotra und Birks 2007, S. 484-485). Enthält eine Antwort mehrere Aussagen, gilt das je Aussage.

Wie prüft man die Übereinstimmung zwischen zwei Kodierenden?

Zwei Personen kodieren dieselben Antworten unabhängig. Cohens Kappa korrigiert ihre beobachtete Übereinstimmung um den Anteil, der schon durch Zufall zu erwarten wäre (Cohen 1960). Weinreich und von Lindern sprechen ab einem Kappa oberhalb von 0,7 von guter Übereinstimmung (2008, S. 107).

Kann KI offene Antworten auswerten?

KI kann Kategorien vorschlagen und Antworten nach einem Codebuch kodieren. Das Codebuch, die Prüfung einer Stichprobe und die Kontrolle der Zitate bleiben Aufgabe des Menschen. Ein Sprachmodell kann sich irren, ohne dass es auffällt, und beim zweiten Durchlauf anders kodieren. Halten Sie deshalb Modell, Datum, Anweisung und Codebuch fest und speichern Sie die Tabelle mit den Codes. Personenbezogene Angaben in Freitexten prüfen Sie vor der Übergabe an eine KI.

Quellen

Cohen, J. (1960). A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, 20(1), 37-46. DOI 10.1177/001316446002000104.

Jacob, R., Heinz, A. und Décieux, J. P. (2019). Umfrage. Einführung in die Methoden der Umfrageforschung (4. Aufl.). Berlin/Boston: De Gruyter Oldenbourg.

Linke, R. (2018). Mitarbeiterbefragungen optimieren. Von der Befragung zum wirksamen Management-Instrument. Wiesbaden: Springer Gabler.

Malhotra, N. K. und Birks, D. F. (2007). Marketing Research. An Applied Approach (3rd European edition). Harlow: Pearson Education.

Marx, P. (2026). Grundlagen der Umfrageforschung. Foliensatz, Folie 81 (Kapitel 3). QUESTIONSTAR. Lehrbuch.

Möhring, W. und Schlütz, D. (2019). Die Befragung in der Medien- und Kommunikationswissenschaft. Eine praxisorientierte Einführung (3. Aufl.). Wiesbaden: Springer VS.

Noelle-Neumann, E. und Petersen, T. (2005). Alle, nicht jeder. Einführung in die Methoden der Demoskopie (4. Aufl.). Berlin: Springer. Zitiert nach Möhring und Schlütz (2019), S. 73.

Poncheri, R. M., Lindberg, J. T., Thompson, L. F. und Surface, E. A. (2008). A Comment on Employee Surveys: Negativity Bias in Open-Ended Responses. Organizational Research Methods, 11(3), 614-630. DOI 10.1177/1094428106295504. Zitiert nach Schnell (2019), S. 71.

Schnell, R. (2019). Survey-Interviews. Methoden standardisierter Befragungen (2. Aufl.). Wiesbaden: Springer VS. DOI 10.1007/978-3-531-19901-6.

Schumann, S. (2019). Repräsentative Umfrage. Praxisorientierte Einführung in empirische Methoden und statistische Analyseverfahren (7. Aufl.). Berlin/Boston: De Gruyter Oldenbourg.

Tourangeau, R., Sun, H., Conrad, F. G. und Couper, M. P. (2017). Examples in Open-Ended Survey Questions. International Journal of Public Opinion Research, 29(4), 690-702. Zitiert nach Möhring und Schlütz (2019), S. 74.

Weinreich, U. und von Lindern, E. (2008). Praxisbuch Kundenbefragungen. München: mi-Fachverlag, FinanzBuch Verlag.

Wiertalla, K. (2013). Der Einsatz von Mitarbeiterbefragungen als Lerninstrument in Unternehmen. Dargestellt anhand des Praxisbeispiels der Mitarbeiterbefragung bei der Ingram Micro Distribution GmbH. Dissertation, Universität Siegen.

Ich wünsche Ihnen Antworten, die Sie überraschen, und ein Codebuch, das sie ordnet.

Übrigens, das hier ist verwandt:

• Fragebogen gestalten: Aufbau, Fragetypen und Checkliste
• Auswertung von Online-Umfragen: beginnt vor der Erhebung
• Mitarbeiterbefragung: Ablauf, Fragen und Auswertung

Dr. Paul Marx

Autor: Dr. Paul Marx
Dr. Paul Marx ist Gründer und Geschäftsführer von QUESTIONSTAR und war Professor für Marketing an der Universität Siegen.