[00:00:01.110] – Charlotte Buttkus PHINEO gAG

Für die Entwicklung eines guten Fragebogens sollte man einen hohen Qualitätsanspruch verfolgen, denn die Antworten hängen ganz entscheidend von den eigentlichen Fragen ab. Und deshalb macht es Sinn, auf bereits vorhandene Fragebögen zurückzugreifen und zu gucken, ob es vielleicht zu dem Thema schon sogar validierte, also geprüfte, Fragebögen gibt. Und wenn das nicht der Fall ist, kann man eventuell überlegen, ob man bestehende Fragebögen anpassen kann.

[00:00:32.340] – Dr. Falk Wienhold PHINEO gAG

Fragebögen kann man in fünf Schritten entwickeln. Im ersten Schritt geht es darum, die Indikatoren auszuwählen, die überprüft werden sollen. Für Fragebögen eignen sich vor allem Indikatoren der Stufen 3 bis 6 der Wirkungstreppe. Im zweiten Schritt geht es darum, den Fragebogen selbst zu konzipieren, d.h. die konkreten Fragen und die verschiedenen Antwortmöglichkeiten auszuwählen. Wenn wir quantitative Daten erheben, gehört dazu auch jeweils eine Skala, auf der wir die verschiedenen Antworten erheben. Hier macht es oft Sinn, mit dem Team gemeinsam Fragen zu sammeln, gemeinsam zu brainstormen, und erst in einem Folgeschritt die Fragen auszuwählen. Unser Tipp an dieser Stelle: So wenige Fragen wie möglich und so viele Fragen wie nötig. Im dritten Schritt geht es darum, den Fragebogen gemeinsam mit der Zielgruppe zu pilotieren. Versteht die Zielgruppe eigentlich, was ich mit dem Fragebogen überprüfen will? Gibt es Verständnisschwierigkeiten? In einem vierten Schritt kann ich diese Erkenntnisse in eine Überarbeitung einfließen lassen. Im fünften Schritt können wir unseren fertig entwickelten Fragebogen einsetzen. Auch in dieser Phase ist natürlich noch das Sammeln von Feedback hilfreich, wir müssen uns nur bewusst sein: Wenn wir den Fragebogen erneut anpassen, schränken wir gleichzeitig die Vergleichbarkeit der Daten ein.

[00:02:09.010] – Charlotte Buttkus PHINEO gAG

Wenn wir einen Fragebogen entwickeln, dann sollte man darauf achten, dass die Items möglichst so formuliert sind, dass die Zielgruppe sie auch verstehen kann. Dabei ist es wichtig, Personen aus der Zielgruppe einzubeziehen, und zwar schon bei Entwicklung. Man sollte auch darauf achten, dass jedes Item nur eine Aussage enthält und keine Und-Verbindung. Denn sonst weiß man gar nicht, worauf sich die Antwort bezieht. Ein Beispiel: Ich bin sehr zufrieden mit der Lehrqualität UND den Materialien des Kurses. Auf was bezieht sich dann ein Ja oder Nein? Eine Antworttendenz ist z.B., dass man immer das ankreuzt, was sozial erwünscht ist oder dass man sogenanntes ein sogenanntes “Durchkreuzen” wählt, also dass jemand immer in der gleichen Kategorie von oben nach unten durchgängig dasselbe ankreuzt. Das kann dadurch vermieden werden, dass man ab und zu mal vom Muster abweicht und gelegentlich Fragen umdreht.

[00:03:36.400] – Charlotte Buttkus PHINEO gAG

Wichtig ist auch, dass das Antwortformat zum Erkenntnisinteresse und zur Frage passt: Will ich eine absolute Zustimmung oder absolute Ablehnung erfragen, dann kann ich Ja/Nein als Antwort vorgeben. Möchte ich eher differenzierter vorgehen, empfiehlt sich ein “Ich stimme zu, Ich stimme eher zu, Ich stimme nicht zu”. Beim Fragebogen kommt es darauf an, mit möglichst wenig Fragen die gesamte Bandbreite des Erkenntnisinteresses abzubilden, weil sowohl die Befragung an sich als auch die Auswertung Ressourcen erfordern. Bei der Entwicklung des Fragebogens ist es zudem wichtig, für welches Format ich mich entscheide, also klassisch auf Papier oder als Online-Befragung. Eine Vor-Ort-Befragung auf Papier hat dabei in der Regel die höchste Rücklaufquote. Der Nachteil des Papierformats ist, dass man dann die Daten später extra in eine Auswertungsmaske eingeben muss, bevor man sie analysieren kann. Das ist aufwendig und fehleranfällig. Das Online-Format ist deutlich weniger aufwändig in der Auswertung. Es hat auch den Vorteil, dass man durch geschickte Filterfragen den Fragebogen verkürzen kann, wenn nicht alle Fragen für jeden Befragten relevant sind. Der Nachteil ist wiederum, dass die Rücklaufquote meist wesentlich geringer ausfällt. Unser Tipp: Vor-Ort-Befragung auf Papier, weil die Rücklaufquote prinzipiell am höchsten ist und das erhöht die Aussagekraft meiner Daten erhöht.

[00:05:56.650]

Wir haben uns nicht an anderen Fragebögen orientiert. Aber was wir gemacht haben, dass wir auf bewährte Standards gesetzt haben, also die wichtigsten Informationen, auch statistische Informationen, demografische Faktoren früh abzufragen, damit man auch bei abgebrochenen Befragungen die Daten sicher hat. Wir haben auch beherzigt, nicht suggestiv zu fragen, und auch, offene Fragen zu stellen. Wir haben berücksichtigt, auch prägnante Fragen mit drin zu haben, wie z.B. Würden Sie Kiwi weiterempfehlen, ja oder nein?

[00:00:01.230] – Dr. Franziska Pfitzner-Eden, PHINEO gAG 

Eine ganz entscheidende Komponente bei der Konstruktion von Fragebögen ist die Itemschwierigkeit. Und was ist damit gemeint? Je schwieriger ein Item ist, desto geringer ist die Wahrscheinlichkeit, dass es positiv beantwortet oder bewertet wird. Und genauso im Umkehrschluss: Je einfacher ein Item ist, desto höher ist die Wahrscheinlichkeit, dass es positiv bewertet oder beantwortet wird. Mal zwei Beispiele zur Illustration. Im ersten Beispiel habe ich das Item “Ich bin mit den Inhalten der Fortbildung zufrieden” und es gibt eine 6 stufige Antwortskala, die reicht von 0 “stimme gar nicht” zu bis 5 “stimme vollkommen zu”.  Und eine Teilnehmerin kreuzt jetzt die 5 an. Die höchste Zustimmung, sie ist also mit den Inhalten der Fortbildung zufrieden. Jetzt ein zweites Beispiel mit einem Item, was eine höhere Itemschwierigkeit hat. “Ich bin mit den Inhalten der Fortbildung sehr zufrieden”. Die Antwortskala ist dabei genau die gleiche. Reicht von 0 “stimme gar nicht” zu bis 5 “stimme vollkommen zu”. Unsere Teilnehmerin würde sich jetzt zweimal überlegen, ob sie wieder die 5 ankreuzt und dieser Aussage wirklich vollkommen zustimmt. Denn sie war zwar mit den Inhalten der Fortbildung zufrieden, aber war sie auch sehr zufrieden? Man merkt, die Wahrscheinlichkeit dieses Item jetzt mit der höchsten Zustimmung zu beantworten ist geringer. Die Itemschwierigkeit im zweiten Beispiel ist also höher als die Itemschwierigkeit in unserem ersten Beispiel. 

[00:01:44.830] – Dr. Franziska Pfitzner-Eden, PHINEO gAG 

Unsere Empfehlung ist, dass in einem Fragebogen alle Fragen zum gleichen Themengebiet möglichst ähnlich schwierig sein sollten. Denn sonst kann man die Ergebnisse hinterher nicht valide interpretieren. Außerdem ist es empfehlenswert, dass man Items tendenziell eher schwierig formuliert, um Deckeneffekten vorzubeugen. Viele formulieren ihre Items zu einfach und dann stehen da immer Höchstwerte zum Schluss. Das nennt man Deckeneffekt. Das sieht zwar erstmal gut aus, aber ist am Ende überhaupt nicht nützlich. Deckeneffekte sind vor allem, aber nicht nur, bei Zufriedenheitsabfragen ein Problem. Sie sind prinzipiell problematisch, denn sie verhindern eine sinnvolle Daten-Interpretation und damit auch das Ableiten von Handlungsempfehlungen. Denn wie bekommt man denn am Ende noch heraus, wo Optimierungspotential besteht? Um Items schwieriger zu formulieren, ist es meist ausreichend, wenn man wie in unserem Beispiel qualifizieren Adverbien einsetzt, die es weniger wahrscheinlich machen, dass man immer mit der höchsten Antwort Kategorie antwortet. Also z.B. ich war mit den Inhalten der Fortbildung sehr zufrieden. Oder die Aussagen der Trainer*innen waren immer hilfreich.