Vorher und Nachher vergleichen können
Um Wirkungen deines Projektes festzustellen, brauchst du ein Vorher und ein Nachher. Dein Projekt soll ja eine Veränderung bei der Zielgruppe bewirken! Dafür brauchst du Daten zu mindestens zwei Zeitpunkten. Was das für deine Datenerhebung bedeutet, erfährst du von Charlotte und Franziska im Video. Spoiler: Es gibt methodische Tricks, wie du um zwei Erhebungen herum kommst.
[00:00-00.07] – Charlotte Buttkus PHINEO gAG
Um eine Veränderung feststellen zu können, sind in der Regel Erhebungen an mindestens zwei Zeitpunkten nötig.
[00:07-00:24] – Dr. Franziska Pfitzner-Eden PHINEO gAG
Daten zum Projekt oder zum Programm kann man zu Beginn erheben, das nennt man “Prä”, zum Ende, das nennt man “Post”, oder einige Zeit nach dem Ende des Projekts, das nennt man “Follow up”, z.B. sechs oder zwölf Monate nach Ende des Projekts oder Programms.
[00:24-03:23] – Charlotte Buttkus PHINEO gAG
Am Beispiel einer berufsbegleitenden Weiterbildung wollen wir jetzt zeigen, welche Aussagekraft verschiedene Erhebungsdesigns haben und welche Nachteile sie mit sich bringen. Nehmen wir das Beispiel einer Post-Befragung. Hier beurteilen die Teilnehmerinnen selbst, welchen Wissenszuwachs sie am Ende des Projekts haben. Der Nachteil: Da die Erhebung nur zu einem Zeitpunkt, also zum Ende des Projekts stattfindet, können wir keine Aussagen über Veränderungen treffen, also keine Differenzwerte bilden. Und da es sich um eine Befragung handelt und eine Selbsteinschätzung, ist diese auch sehr subjektiv.
Bei einem Post-Wissenstest wird der Wissensstand zu den Fortbildungsinhalten am Ende der Fortbildung erfasst. Das hat den Vorteil, dass es objektiver ist, als wenn die Teilnehmerinnen das selbst einschätzen. Gleichzeitig ist der Nachteil, dass man gar nicht sagen kann, ob dieser Wissensstand tatsächlich etwas mit dem Programm zu tun hat oder die Teilnehmerinnen beispielsweise das vorher schon wussten.
Bei einer Prä-Post-Befragung kann ich Differenzwerte, also Unterschiede, tatsächlich feststellen. Der Nachteil ist, dass ich das aufgrund von Referenzeffekten manchmal praktisch gar nicht durchführen kann. Das liegt daran, dass sich der innere Referenzrahmen bei den Befragten ändert. Was heißt das? Damit ist gemeint, dass Teilnehmerinnen am Anfang, wenn sie in ein Projekt einsteigen, ihren Wissensstand häufig besser einschätzen als am Ende des Projektes. Wenn sie im Verlaufe eines Kurses sehr viel erfahren haben und dann sagen “Na ja, das weiß ich jetzt schon, aber das andere da ist ja noch so viel, theoretisch müsste ich das eigentlich noch vertiefen!”, dann habe ich am Ende eine niedrigere Einschätzung als am Anfang. Dieser Effekt ist tatsächlich nachgewiesen, in vielen Kontexten. Der Effekt kann dazu führen, dass die Ergebnisse kaum oder nicht belastbar sind.
Bei einer Post-Befragung, kombiniert mit einem retrospektiven Prä-Test, bewerten die Teilnehmerinnen am Ende des Projektes ihren Wissensstand und schätzen zudem ein, nachträglich, wie umfangreich ihr Vorwissen war. Der Vorteil ist, dass man jetzt zwei Werte erhoben hat und Differenzwerte bilden kann. Und dass diese zwei Werte auch mit dem gleichen inneren Referenzrahmen erhoben wurden. Nachteilig ist, dass es sich um eine nachträgliche, subjektive Einschätzung des vormaligen Wissensstands handelt.
Bei einem sogenannten Follow-up, das ist eine Befragung nach vielleicht sechs oder zwölf Monaten, also nach Ende des Projektes, kann ich dann schauen, ob die erwünschten Veränderungen im Handeln der Zielgruppe eingetreten sind oder ob das Projekt beispielsweise zur Verbesserung der Lebenslage beigetragen hat.
Erhebungszeiten und Erhebungsdesigns
Zusammenfassung: Daten zum Projekt kannst du zu Beginn erheben, das nennt man “Prä”, zum Ende, das nennt man “Post”, oder einige Zeit nach dem Ende des Projekts, das nennt man “Follow-up”. Hier die verschiedenen Vorgehensweisen am Beispiel der Datenerhebung zu einer Fortbildung mit ihren Vor- und Nachteilen auf einen Blick:
Teilnehmende beurteilen am Ende des Projekts, welchen Wissenszuwachs sie hatten.
Vorteil:
Du hast weniger Aufwand, da du nur zu einem Zeitpunkt Daten erhebst.
Nachteile:
– Du kannst selbst keinen Vergleich ziehen.
– Die Selbsteinschätzung ist also subjektiv.
Teilnehmende machen am Ende des Projektes einen Wissenstest.
Vorteile:
– Ein Test liefert objektivere Daten als eine Selbsteinschätzung.
– Du hast weniger Aufwand, da du nur zu einem Zeitpunkt Daten erhebst.
Nachteil:
– Du kannst nicht auswerten, ob der Wissenszuwachs vom Projekt verursacht wurde.
Du befragst die Teilnehmenden vor Projektbeginn und direkt nach Projektende.
Nachteil:
Die Daten lassen sich nicht gut vergleichen, da Teilnehmende ihr Wissen häufig zu Beginn besser einschätzen als am Ende, da sie im Verlaufe des Projektes erfahren haben, was sie alles nicht wissen. Dies ist ein in der Wissenschaft sehr bekannter Effekt.
Teilnehmende bewerten am Ende des Projektes ihren Wissensstand und schätzen zudem nachträglich ein, wie umfangreich ihr Vorwissen war.
Vorteile:
– Du erhebst zwei Werte und kannst sie vergleichen.
– Beide Werte sind miteinander vergleichbar, da sie mit demselben inneren Referenzrahmen erhoben wurden.
Nachteil:
Subjektive Selbsteinschätzung
Tipp: Wäge je nach Größe deines Projektes ab, zu wie vielen Zeitpunkten du Daten erheben willst. Für kleinere Projekte kann eine Post-Befragung ausreichen. Bei größeren Projekten, in denen du Wirkziele auf der höchsten Stufe (gesellschaftliche Wirkung) überprüfen willst, ist ein Follow-up nach einigen Monaten wichtig.
Noch ein sehr wichtiger Hinweis schon mit Blick auf die Auswertung: Angenommen, du hast Daten zu zwei Zeitpunkten erhoben und erkennst einen klaren Unterschied beim Vorher-Nachher-Vergleich, sei vorsichtig bei der Interpretation! Vielleicht hat die Veränderung gar nichts mit deinem Projekt zu tun.
Teste dein Wissen!
Fallbeispiel 1:
Annika leitet ein Betreutes-Wohnen-Projekt für schwer Depressive nach einem Klinikaufenthalt. Bewohner*innen können selbst entscheiden, wie lange sie bleiben möchten. Die Wohnzeit beträgt mindestens 3 und maximal 12 Monate. Ziel ist es, die Bewohner*innen beim Übergang von der Klinik in ein eigenverantwortliches Wohnen zu unterstützen. Um die Finanzierung zu verlängern, muss Annika zeigen, inwiefern ihr Projekt Wirkungen bei den Bewohner*innen erzielt.
Fallbeispiel 2:
Eylem leitet ein demokratieförderndes Projekt für Jugendliche. Das Modellprojekt ist zunächst auf drei Jahre angelegt. Dabei wird jedes Jahr eine weitere Kohorte mit aufgenommen. Das Projekt hat zum Ziel, die Jugendlichen für die anti-demokratischen Auswirkungen von Fake News zu sensibilisieren. Eylem möchte einerseits belegen können, in welchem Ausmaß die Teilnehmenden sensibilisiert werden. Andererseits möchte er Informationen dazu sammeln, wie das Modellprojekt während der Projektlaufzeit optimiert werden kann.
Welche Erhebungszeiten wählst du?
Nimm dir wieder einen Moment und überlege, zu welchen Zeitpunkten du für dein Projekt Daten erheben willst. Dokumentiere dies wieder in deinem Datenerhebungsplan!
