Fragebogen: Handwerkliche Tipps für Aufbau und Auswertung.

Kurzbeschreibung.

Damit eine Mitarbeiter- oder Kundenbefragung im Change Management erfolgreich verläuft, müssen nicht nur Inhalte und Schwerpunkte des Fragebogens sorgfältig durchdacht sein; es müssen auch eine Reihe “handwerklicher” Punkte beachtet werden.

Länge.

Welche Länge des Fragebogens noch akzeptabel ist, hängt von der Bedeutung des Themas für die Zielgruppe ab. Bei einer schriftlichen Befragung von Kunden und Lieferanten dürfte eine Bearbeitungsdauer von 10 - 15 Minuten das Maximum sein. Eine Mitarbeiterbefragung darf mehr Zeit in Anspruch nehmen; hier sind auch 45 - 60 Minuten noch in Ordnung, sofern die Befragten die Fragen überwiegend als relevant und sinnvoll ansehen.

Übrigens kann ein Fragebogen nicht nur zu lang sein, sondern auch zu kurz (auch wenn dieses Problem in der Praxis seltener vorkommt). Das ist immer dann der Fall, wenn die Befragten das Gefühl haben, dass sie wesentliche Dinge nicht zum Ausdruck bringen konnten.

Layout.

Wenn der Fragebogen zum Sehtest ausartet, werden Sie möglicherweise von vielen älteren Mitarbeitern keine Antwort bekommen. Gehen Sie trotzdem sparsam mit dem Platz um, sonst wächst der Fragebogen rasch auf eine Seitenzahl an, die abschreckend wirkt und damit “Quote kostet”. Faustregel: Arial 9 oder 10 Punkt oder Arial Narrow 10 Punkt sind noch gut genug lesbar. Machen Sie die Antwortspalten so schmal wie möglich; ziehen Sie im Zweifelsfall einen (Gebrauchs-)Grafiker zu Rate.

Ordnung.

Eine uralte Streitfrage ist, ob die Struktur des Fragebogens für die Befragten transparent sein soll. Manche möchten sie gerne verschleiern, damit die Befragten den Fragebogen nicht “durchschauen”. Abgesehen davon, dass das Fragen zum Menschenbild aufwirft, geht der Versuch ins Leere, denn Menschen versuchen immer, einen Sinn zu entdecken (bzw. zu konstruieren). Der Vorteil einer nachvollziehbaren Ordnung ist, dass der Fragebogen dadurch für die Befragten schlüssiger und plausibler wird. Damit fördert sie die Bereitschaft zu sorgfältiger Bearbeitung ebenso wie die Akzeptanz der Befragung.

Frageformulierung.

Arbeiten Sie hart daran, die Fragen so einfach und verständlich wie möglich zu formulieren. Formulieren Sie möglichst konkret; vermeiden Sie zu abstrakte Aussagen ebenso wie solche, die vielfältig interpretierbar und damit in ihrer Bedeutung unklar sind (“Der Führungsstil meines Vorgesetzten entspricht voll und ganz meinen Erwartungen”).

Verneinungen.

Ein besonderes Kapitel sind Verneinungen. Mit einer doppelten Verneinung (“nicht unwesentlich”) werden Sie nur noch von einem Bruchteil der Befragten (angeblich nur 20 Prozent) spontan richtig verstanden. Das gewährleistet zwar Exklusivität, aber um den Preis, dass hinterher unklar ist, was die Befragten verstanden und gemeint haben. Damit sind die Ergebnisse unbrauchbar, weil nicht herauszufinden ist, was die Antworten bedeuten.

Schon einfache Verneinungen bergen das Risiko von Missverständnissen. Angenommen, die Frage lautet: “Unser Unternehmen hat keine klare Strategie”. Was kreuzen Sie dann an, wenn Sie der Aussage zustimmen: “Ja” oder “Nein”? Logisch wäre, in diesem Fall “Ja” anzukreuzen; umgangssprachlich würden aber viele ihre Zustimmung in die Worte kleiden: “Nein, es hat wirklich keine klare Strategie”.

Antwortroutine vermeiden.

Formulieren Sie die Fragen so, dass die zustimmenden Antworten nicht alle auf der gleichen Seite der Skala liegen. Sonst besteht die Gefahr mechanischer Antwortroutinen. Das heißt, man liest beim Ausfüllen nicht mehr genau, sondern kreuzt mechanisch immer eher auf der linken Seite oder immer auf der rechten an. Für Wechsel können Sie auch ohne Verneinungen sorgen, etwa durch Formulierungen wie: “Vision und Strategie unseres Unternehmens sind für mich klar erkennbar”, aber “Ich würde mir mehr Klarheit darüber wünschen, wohin unser Unternehmen steuert”.

Antwortstufen.

Die äußersten Enden der Antwortskala werden nur relativ selten angekreuzt. Bei einer fünfstufigen Skala wird daher der Großteil der Antworten bei den drei mittleren Skalenwerten liegen. (Natürlich reduziert sich dieser Effekt, bei weniger als vier Antwortstufen.) Das wird bei der Auswertung zum Problem, denn die Mittelwerte rücken dann bei den meisten Fragen zur Skalenmitte. Am Schluss interpretiert man aus blanker Verzweiflung Unterschiede von 0,1 oder 0,2 Skalenpunkten, was dann eher Kaffeesatz-Deutung ist als ein interpretierbarer Unterschied. Bieten Sie daher zwei Antwortstufen mehr an als die für die Auswertung benötigen – also z.B. sieben, wenn sie fünf Stufen für die Auswertung nutzen wollen.

Apropos Kaffeesatz-Deutung: Ob Unterschiede “statistisch signifikant” sind, also mit hoher Wahrscheinlichkeit nicht nur durch Zufall zustande gekommen sind, darüber muss man nicht streiten, das kann man ausrechnen: Bitten Sie Ihre Auswerter, das Signifikanzniveau bzw. die Konfidenzintervalle anzugeben. (Konfidenzintervalle sind die Spannbreiten, innerhalb der “wahre Wert” mit einer Wahrscheinlichkeit von 95 Prozent liegt.) Zwei Faustregeln dazu: Erstens, interpretieren Sie nicht zu viel an geringfügigen Differenzen herum, denn sie können Zufall sein. Zweitens: Je kleiner die Stichproben, wenn Sie zum Beispiel Untergruppen vergleichen, desto größer müssten die Unterschiede sein, um statistisch signifikant zu sein.

Bezeichnung.

Wählen Sie möglichst einfache Bezeichnungen für die Antwortstufen und versuchen Sie, sie durch den ganzen Fragebogen durchzuhalten! Am besten eignen sich nach meiner Erfahrung Zustimmungsabstufungen: “Trifft voll zu” / “trifft weitgehend zu” / “Trifft eher zu” etc.

Problematisch sind begriffliche Abstufungen wie “immer – meistens – häufig – oft – gelegentlich – selten – nie”. Auch ohne methodische Haarspalterei steht man sonst vor dem methodischen Problem: Ist der Abstand zwischen “meistens” und “häufig” tatsächlich gleich groß wie der zwischen “oft” und “gelegentlich”? Und noch heikler: Ist “meistens” tatsächlich näher bei “immer” als bei “häufig”? Falls nein, wäre die Auswertung gesprengt, denn die Berechnung statistischer Kennzahlen wäre nicht mehr zulässig.

Erzwungene Wahl (Forced Choice).

“Forced Choice” nennt man in der Testtheorie die Vorgabe von Antworten, die die Befragten zwingen, sich zwischen vorgegebenen (und zum Teil skurrilen) Antwortalternativen eindeutig zu entscheiden (wie z.B. im MBTI, einem in den USA sehr populären Persönlichkeitsfragebogen). Natürlich kann man fragen: “Was ziehen Sie vor: eine Darmgrippe oder einen bayerischen Heimatabend?” Offen bleibt allerdings, wie man die Antworten interpretieren sollte. Selbst dort, wo solche Fragen methodisch in Ordnung sind, erzeugt der Zwang, sich ständig zwischen Äpfeln und Birnen entscheiden zu müssen, erhebliches Unbehagen und Akzeptanzprobleme bei den Befragten. Für Mitarbeiter- und Kundenbefragungen eignen sich Forced-Choice-Fragen schon deshalb nicht, weil ihre Interpretation nur mit erheblichem Forschungsaufwand beherrschbar ist.

Ja-Nein-Fragen.

“Ja-Nein-Fragen” sind de facto häufig Forced-Choice-Fragen – jedenfalls dort, wo die Realität eine feinere Abstufung zulässt. (Etwa: “Ich finde Produkt XY (a) ausgezeichnet, (b) unbrauchbar.”) In Ordnung sind “Ja-Nein”-Fragen dort, wo die Realität ebenfalls nur zwei Möglichkeiten lässt (“Ich habe bereits Erfahrung mit dem Produkt”). Doch schon bei der Frage “Ich würde dieses Produkt wieder kaufen” wäre es ratsam, Abstufungen anzubieten (“wahrscheinlich”, “eher nicht”), sonst bringt die Befragung durch die erzwungenen Entscheidungen möglicherweise ein Ergebnis, das “klarer ist als die Realität”, das also sehr klar scheint, das tatsächliche Verhalten der Befragten aber nicht sonderlich gut vorhersagt. Zumindest sollte man in solch einem Fall die Alternative “weiß nicht” anbieten.

Gerade oder ungerade Zahl der Antwort-alternativen.

Immer wieder taucht bei der Vorbereitung von Befragungen der Gedanke auf, auf der Antwortskala keinen mittleren Punkt (“teils – teils”) anzubieten, sondern “die Befragten zu einer Entscheidung zu zwingen”. Man kann das machen – auf einem anderen Blatt steht indes, welche Auswirkungen und welche Aussagekraft eine solche erzwungene Entscheidung wirklich hat. Denn wenn jemand wirklich “teils – teils” meint, wie antwortet er dann, wenn diese Alternative fehlt?

In der Praxis wählt in solch einem Fall jeder Befragte die Alternative, die seiner Sichtweise noch am nächsten kommt. Je mehr die Frage also auf der Kippe ist, desto mehr werden die Antwort zufallsverteilt sein – der eine kreuzt eben links an, die andere rechts. Das heißt, der Versuch, die Mitarbeiter zu einer Entscheidung zu zwingen, geht letztlich ins Leere: Die fehlende mittlere Stufe entsteht dann halt bei der Durchschnittsberechnung. Am Ende dürfte der Effekt daher relativ gering sein. (Nur die Standardabweichung wird größer.)

Polung der Antwortskala.

Ob die zustimmenden Antworten (“trifft zu”) auf der linken oder der rechten Seite der Antwortskala stehen, spielt letztlich wohl keine entscheidende Rolle. (Obwohl Untersuchungen zeigen, dass es auch hier leichte systematische Verschiebungen gibt.)

Was jedoch unbedingt vermieden werden sollte, ist, mitten im Fragebogen die “Polung” der Fragen zu wechseln. Denn wenn man einmal erkannt hat, dass die zustimmenden Antworten auf der linken Seite stehen, liest man den Spaltenkopf nicht mehr jedes Mal neu. Das heißt, Sie würden nicht nur etliche Fragebogen zurückbekommen, bei denen die Antworten seitenweise korrigiert worden sind (und wo man das Fluchen des Antwortenden beinahe noch hören kann). Manche würden den “versauten” Fragebogen aber auch einfach in den Papierkorb werfen. Vor allem aber würden Sie nie erfahren, ob die Fragebögen, die keine Korrekturen enthalten, richtig ausgefüllt worden sind – oder ob die Befragten ihren Irrtum bis zuletzt nicht bemerkt haben.

Offene und geschlossene Fragen.

Je größter die Zahl der Befragten, desto wichtiger wird, nur geschlossene Fragen – also solche mit vorgegebenen Antwortalternativen – zu stellen. Schon bei Tausend Befragten kostet die Auswertung einer einzigen offenen Frage einen immensen Aufwand: Erstens müsste jede einzelne Antwort vollständig erfasst werden, was heißt, dass pro Frage statt einem Zeichen (für die Codierung der gewählten Alternative) 20, 50 oder auch 100 Zeichen eingetippt werden müssen. Zweitens müsste danach, was noch ungleich aufwendiger ist, eine Inhaltsanalyse durchgeführt werden, um die gegebenen Antworten sinnvoll ordnen und auszählen zu können. Was in der Realität eben wegen des großen Aufwand meistens unterbleibt – so dass am Ende die offene Frage und sämtliche Antworten darauf für die Katz waren.

Tests.

Testen Sie den Fragebogen mit ein paar neutralen Personen. Auf diese Weise bekommen Sie nicht nur Daten zur Ausfülldauer, sondern auch Feedback zu Verständlichkeit und Plausibilität der Fragen. Noch können Sie ohne große Risiken und Nebenwirkungen Korrekturen vornehmen…

Mitbestimmung.

Eigentlich kein “handwerklicher” Punkt, aber sicherheitshalber sei er dennoch auch hier noch mal erwählt: Sowohl der Fragebogen wie die Mitarbeiterbefragung insgesamt sind nach deutschem Recht mitbestimmungspflichtig. Sprechen Sie also rechtzeitig mit dem Betriebsrat und nicht erst dann, wenn der Fragebogen gedruckt ist.