[00:00-00:30] – Charlotte Buttkus PHINEO gAG

Für die Entwicklung eines guten Fragebogens sollte man einen hohen Qualitätsanspruch verfolgen, denn die Antworten hängen ganz entscheidend von den eigentlichen Fragen ab. Und deshalb macht es Sinn, auf bereits vorhandene Fragebögen zurückzugreifen und zu gucken, ob es vielleicht zu dem Thema schon sogar validierte, also geprüfte, Fragebögen gibt. Und wenn das nicht der Fall ist, kann man eventuell überlegen, ob man bestehende Fragebögen anpassen kann.

[00:31-01:13] – Charlotte Buttkus PHINEO gAG

Wenn wir einen Fragebogen entwickeln, dann sollte man darauf achten, dass die Items möglichst so formuliert sind, dass die Zielgruppe sie auch verstehen kann. Dabei ist es wichtig, Personen aus der Zielgruppe einzubeziehen, und zwar schon bei Entwicklung. Man sollte auch darauf achten, dass jedes Item nur eine Aussage enthält und keine Und-Verbindung. Denn sonst weiß man gar nicht, worauf sich die Antwort bezieht. Ein Beispiel: Ich bin sehr zufrieden mit der Lehrqualität UND den Materialien des Kurses. Auf was bezieht sich dann ein Ja oder Nein? Eine Antworttendenz ist z.B., dass man immer das ankreuzt, was sozial erwünscht ist oder dass man sogenanntes ein sogenanntes “Durchkreuzen” wählt, also dass jemand immer in der gleichen Kategorie von oben nach unten durchgängig dasselbe ankreuzt. Das kann dadurch vermieden werden, dass man ab und zu mal vom Muster abweicht und gelegentlich Fragen umdreht.

Du musst nicht alle Fragen selbst formulieren. Von Wissenschaftler*innen validierte Fragen stellen sicher, dass sie auch tatsächlich messen, was sie messen sollen und dass die Antworten unterschiedlich genug sind, um aussagekräftige Ergebnisse zu liefern. 
So wirst du fündig:

• Suche zum Beispiel bei Google Scholar gezielt nach so genannten Items zu deinem Thema. Beispiel Thema Demokratiebildung: Mit der Suchwortkombination “Skala Frage Items Demokratiebildung” (ohne Anführungszeichen eingeben) erhältst du unter den ersten fünf Treffern eine Studie der Uni Mainz mit einem Fragebogen als Anlage (“Entwicklung und Einsatz eines Instruments zur Erfassung demokratischer Kompetenzen: Projektbericht ‘Demokratie leben in Europa'”).
• Oder durchforste die Erhebungen bekannter Forschungsinstitute zu deinem Thema im deutschsprachigen Raum.
• Du kannst auch zunächst nach Daten zu deinem Thema suchen und dann in der Dokumentation bzw. den Quellen nach Fragebogen schauen.

Wenn du dich aus Vorlagen bedienst, wähle die Fragen systematisch aus. Überlege als Erstes, was die Fragen messen sollen, welche Indikatoren sie abbilden sollen. Prüfe als Nächstes, ob das zu den Wirkzielen passt, die du überprüfen willst. Wähle eine Frage nur dann aus, wenn Letzteres der Fall ist.

Um sicher zu gehen, dass deine Frage so verstanden wird, wie du sie gemeint hast, stelle sie mehrfach und variiere dabei gezielt die Formulierung. So erhältst du robuste Antworten und kannst so genannte Framing-Effekte vermeiden.

Beschränke dich! Ein zehnseitiger Fragebogen, den am Ende niemand beantwortet, bringt dir gar nichts.

Je nachdem, wen du befragen willst, solltest du sensibel mit Sprache umgehen. Willst du zum Beispiel Geflüchtete befragen, ergibt eine Beschäftigung mit traumasensibler Sprache im Vorfeld Sinn. Bedenke Sprachbarrieren, achte auf Verständlichkeit und ggfs. leichte bzw. einfache Sprache. Übersetze deinen Fragebogen falls notwendig in andere Sprachen.

Es gibt viele gute digitale Tools wie zum Beispiel LamaPoll oder Typeform, mit denen du Fragebogen erstellen und versenden kannst. Häufig visualisieren sie auch die Ergebnisse und liefern dir deskriptive Statistiken für einen schnellen Überblick. Sie helfen dir jedoch nicht, einzelne Fragen und Antwortmöglichkeiten zu formulieren!

Als Beispiel für eine digitale Befragung mit LamaPoll kannst du gleich im Anschluss unseren Fragebogen zur Kursevaluation ausfüllen :-). Wir freuen uns über dein Feedback!

Es ist immens wichtig, dass viele der Personen, denen du den Fragebogen zusendest, auch an deiner Befragung teilnehmen und ihn dir zurücksenden. Denn je besser der so genannte Rücklauf, desto eher lassen sich die Ergebnisse verallgemeinern.
Eine Möglichkeit, die Akzeptanz deiner Befragung und damit den Rücklauf zu erhöhen, ist es, deine Zielgruppe einzubinden. Das kannst du tun, indem du sie zum Beispiel fragst, in welchem Rahmen sie dir Feedback zu deinem Projekt geben will. Weitere Tipps:

• Halte den Umfang des Fragebogens knapp.
• Stelle sicher, dass deine Teilnehmenden Zugang zum benutzen Umfrage-Tool haben.
• Führe die Post-Befragung durch, wenn du noch im direkten Kontakt mit deinen Teilnehmenden bist, nicht per E-Mail im Nachgang (dies höchstens bei einem Follow-up).
• Kommuniziere klar, wozu du die Mitwirkung an der Befragung benötigst, was die Teilnehmenden damit bewirken können. Informiere die Teilnehmenden über die Ergebnisse der Befragung.

Du erhältst häufig bessere Antworten, wenn du die Befragung anonym ermöglichst. Denn soziale Erwünschtheit verzerrt die Antworten. Wenn du Teilnehmenden dennoch die Möglichkeit gibst, ihren Kontakt zu hinterlassen, kannst du in einzelnen Fällen nachfragen. Um Anonymität zu gewährleisten, solltest du prüfen, ob Personen anhand der Antworten identifiziert werden können, und dies ggfs. ausschließen.

Datenschutz ist sehr wichtig. Vergewissere dich bei Tools, die du nutzen willst, dass sie deinen Anforderungen für den Datenschutz genügen – insbesondere bei Tools, die Daten im außereuropäischen Ausland speichern. Beim Erheben personenbezogener Daten solltest du die Regeln der Datenschutzgrundverordnung der EU kennen und beachten.

[00:00-01:34] – Dr. Franziska Pfitzner-Eden, PHINEO gAG 

Eine ganz entscheidende Komponente bei der Konstruktion von Fragebögen ist die Itemschwierigkeit. Und was ist damit gemeint? Je schwieriger ein Item ist, desto geringer ist die Wahrscheinlichkeit, dass es positiv beantwortet oder bewertet wird. Und genauso im Umkehrschluss: Je einfacher ein Item ist, desto höher ist die Wahrscheinlichkeit, dass es positiv bewertet oder beantwortet wird.

Mal zwei Beispiele zur Illustration. Im ersten Beispiel habe ich das Item “Ich bin mit den Inhalten der Fortbildung zufrieden” und es gibt eine 6 stufige Antwortskala, die reicht von 0 “stimme gar nicht” zu bis 5 “stimme vollkommen zu”.  Und eine Teilnehmerin kreuzt jetzt die 5 an, die höchste Zustimmung. Sie ist also mit den Inhalten der Fortbildung zufrieden.

Jetzt ein zweites Beispiel mit einem Item, was eine höhere Itemschwierigkeit hat. “Ich bin mit den Inhalten der Fortbildung sehr zufrieden”. Die Antwortskala ist dabei genau die gleiche. Reicht von 0 “stimme gar nicht” zu bis 5 “stimme vollkommen zu”. Unsere Teilnehmerin würde sich jetzt zweimal überlegen, ob sie wieder die 5 ankreuzt und dieser Aussage wirklich vollkommen zustimmt. Denn sie war zwar mit den Inhalten der Fortbildung zufrieden, aber war sie auch sehr zufrieden? Man merkt, die Wahrscheinlichkeit dieses Item jetzt mit der höchsten Zustimmung zu beantworten ist geringer. Die Itemschwierigkeit im zweiten Beispiel ist also höher als die Itemschwierigkeit in unserem ersten Beispiel. 

[01:35-02:30] – Dr. Franziska Pfitzner-Eden, PHINEO gAG 

Unsere Empfehlung ist, dass in einem Fragebogen alle Fragen zum gleichen Themengebiet möglichst ähnlich schwierig sein sollten. Denn sonst kann man die Ergebnisse hinterher nicht valide interpretieren. Außerdem ist es empfehlenswert, dass man Items tendenziell eher schwierig formuliert, um Deckeneffekten vorzubeugen. Viele formulieren ihre Items zu einfach und dann stehen da immer Höchstwerte zum Schluss. Das nennt man Deckeneffekt. Um Items schwieriger zu formulieren, ist es meist ausreichend, wenn man wie in unserem Beispiel qualifizieren Adverbien einsetzt, die es weniger wahrscheinlich machen, dass man immer mit der höchsten Antwort Kategorie antwortet. Also z.B. ich war mit den Inhalten der Fortbildung sehr zufrieden. Oder die Aussagen der Trainer*innen waren immer hilfreich.