[00:00:01.670] – Charlotte Buttkus PHINEO gAG

Wenn ich Daten erheben will, dann hilft es, systematisch vorzugehen. Dabei hilft mir ein Erhebungsdesign. Ein Erhebungsdesign legt fest, wann und mit welcher Methode Daten von wem erhoben werden.

[00:00:14.270] – Dr. Franziska Pfitzner-Eden PHINEO gAG

Daten zum Projekt oder zum Programm kann man zu Beginn erheben, das nennt man “Prä”, zum Ende, das nennt man “Post”, oder einige Zeit nach dem Ende des Projekts, das nennt man “Follow up”, z.B. sechs oder zwölf Monate nach Ende des Projekts oder Programms. Gegebenenfalls sind auch Zwischenerhebungen sinnvoll, während der Laufzeit des Projekts oder Programms, und vor allem, wenn der Prozess selbst betrachtet werden soll. Das ist wichtig, um ggf. Nachsteuern zu können. Das ist vor allem sinnvoll bei mehrjährigen oder bei ganz neu aufgesetzten Projekten, wo es noch viel zu lernen und steuern gibt.

[00:00:56.600] – Charlotte Buttkus PHINEO gAG

Um eine Veränderung feststellen zu können, sind in der Regel Erhebungen an mindestens zwei Zeitpunkten nötig. Die Aussagekraft von einem Prä-Post-Design ist dann auch entsprechend höher, als wenn ich in einem Post-Design nur zu einem Zeitpunkt Daten erhebe.

[00:01:19.650] – Charlotte Buttkus PHINEO gAG

Gleichzeitig steigt dann aber auch der Aufwand und die nötige Expertise bei der Datenerhebung, Aufbereitung und Interpretation. Deswegen muss man eigentlich immer ganz pragmatisch überlegen, welches Erhebungsdesign man wählt. Und da ist die eigentliche Frage, was hinsichtlich Art, Dauer und Größe des Projekts eigentlich angemessen ist.

[00:01:40.680] – Dr. Franziska Pfitzner-Eden PHINEO gAG

Die Wahl der Methode, also z.B. Befragung, Wissenstest oder Beobachtung, hängt von der konkreten Fragestellung ab und von der Datenquelle, und weniger vom Zeitpunkt der Erhebung. Veränderungen kausal auf ganz bestimmte Projekte oder Einzelmaßnahmen zurückzuführen, ist methodisch sehr anspruchsvoll.

[00:02:02.280] – Charlotte Buttkus PHINEO gAG

Am Beispiel einer berufsbegleitenden Weiterbildung wollen wir jetzt zeigen, welche Aussagekraft verschiedene Erhebungsdesigns haben und welche Nachteile sie mit sich bringen.

[00:02:20.960] – Charlotte Buttkus PHINEO gAG

Nehmen wir das Beispiel einer Post-Befragung. Hier beurteilen die Teilnehmerinnen selbst, welchen Wissenszuwachs sie am Ende des Projekts haben. Der Nachteil: Da die Erhebung nur zu einem Zeitpunkt, also zum Ende des Projekts stattfindet, können wir keine Aussagen über Veränderungen treffen, also keine Differenzwerte bilden. Und da es sich um eine Befragung handelt und eine Selbsteinschätzung, ist diese auch sehr subjektiv. Bei einem Post-Wissenstest wird der Wissensstand zu den Fortbildungsinhalten am Ende der Fortbildung erfasst. Das hat den Vorteil, dass es objektiver ist, als wenn die Teilnehmerinnen das selbst einschätzen. Gleichzeitig ist der Nachteil, dass man gar nicht sagen kann, ob dieser Wissensstand tatsächlich etwas mit dem Programm zu tun hat oder die Teilnehmerinnen beispielsweise das vorher schon wussten. Bei einer Prä-Post-Befragung kann ich Differenzwerte, also Unterschiede, tatsächlich feststellen. Der Nachteil ist, dass ich das aufgrund von Referenzeffekten manchmal praktisch gar nicht durchführen kann. Das liegt daran, dass sich der innere Referenzrahmen bei den Befragten ändert. Was heißt das? Damit ist gemeint, dass Teilnehmerinnen am Anfang, wenn sie in ein Projekt einsteigen, ihren Wissensstand häufig besser einschätzen als am Ende des Projektes. Wenn sie im Verlaufe eines Kurses sehr viel erfahren haben und dann sagen “Na ja, das weiß ich jetzt schon, aber das andere da ist ja noch so viel, theoretisch müsste ich das eigentlich noch vertiefen!”, dann habe ich am Ende eine niedrigere Einschätzung als am Anfang. Dieser Effekt ist tatsächlich nachgewiesen, in vielen Kontexten. Der Effekt kann dazu führen, dass die Ergebnisse kaum oder nicht belastbar sind.

[00:04:18.070] – Charlotte Buttkus PHINEO gAG

Bei einer Post-Befragung, kombiniert mit einem retrospektiven Prä-Test, bewerten die Teilnehmerinnen am Ende des Projektes ihren Wissensstand und schätzen zudem ein, nachträglich, wie umfangreich ihr Vorwissen war. Der Vorteil ist, dass man jetzt zwei Werte erhoben hat und Differenzwerte bilden kann. Und dass diese zwei Werte auch mit dem gleichen inneren Referenzrahmen erhoben wurden. Nachteilig ist, dass es sich um eine nachträgliche, subjektive Einschätzung des vormaligen Wissensstands handelt. Und je länger die Kursdauer ist, je länger der Kursbeginn her ist, umso stärker fällt das ins Gewicht, weil meine Erinnerung ungenauer wird. Bei einer Pre-Post-Befragung, kombiniert mit einem Pre-Post-Wissenstest, ist der Wissenszuwachs tatsächlich dem Projekt zuzurechnen, also “attribuierbar”. Der Nachteil ist, dass so ein solches die Erhebungsdesign tatsächlich noch aufwändiger ist, als wenn man eigentlich nur prä post befragt und dass das natürlich auch die Mitarbeit der Teilnehmenden erfordert. Bei einem sogenannten Follow up, das ist eine Befragung nach vielleicht sechs oder zwölf Monaten, also nach Ende des Projektes, kann ich dann schauen, ob die erwünschten Veränderungen im Handeln der Zielgruppe eingetreten sind oder ob das Projekt beispielsweise zur Verbesserung der Lebenslage beigetragen hat. Und hier gilt natürlich auch, dass Befragungen irgendwie subjektiv sind und auch Referenzeffekte eintreten können.

[00:05:52.810] – Charlotte Buttkus PHINEO gAG

Ein anderer Aspekt, den man noch beachten muss dabei ist: Dass auch immer mehr Einflüsse tatsächlich auf die Zielgruppe wirken und deswegen die Zurechenbarkeit zum eigenen Projekt oder Programm natürlich schwerer wird.

[00:06:08.310] – Thomas Knoll CARE Deutschland e.V.

Am Anfang der Zusammenarbeit mit den Schulen steht ja immer erst einmal die Qualifizierung der Lehrkräfte. Und deswegen fangen wir damit auch an. Und das erheben wir auch zu einem anderen Zeitpunkt, nämlich direkt nach der Fortbildung. Da fragen wir ab, ob die Fortbildung den Erwartungen entsprochen hat, ob man erwartet, dass die Fortbildungsinhalte die eigene Arbeit bereichern werden, dass sie einen in die Lage versetzen, jetzt besser soziale und interkulturelle Kompetenzen vermitteln zu können. Das fragen wir direkt nach der Fortbildung ab. Das ist insofern wichtig, weil, wenn wir bereits an diesem Zeitpunkt schon schlechte Ergebnisse haben, dann ist klar, dass wir auch zum Ende hin schlechte Ergebnisse haben werden, die sich dann auf die Schülerinnen und Schüler erstreckt. Deswegen erfragen wir das zuerst. An einem zweiten Befragungszeitpunkt, am Ende des Projektes, dass wir dann tatsächlich nachfragen: Welche Veränderungen sind eingetreten, sowohl bei den Schülern als auch der Lehrkraft? – Da aber natürlich mit dem viel stärkeren Fokus auf die eigentlichen Wirkungen bei der primären Zielgruppe, den Schülerinnen und Schülern.