[00:00:01.450] – Igor Ryabinin PHINEO gAG

Eine Wirkungsanalyse umfasst Monitoring und Evaluation. Aber was sind Monitoring und Evaluation eigentlich genau und wo liegen da die Unterschiede? Monitoring ist die regelmäßige Erhebung von Daten und Informationen während des Projektes durch die Projektmitarbeitenden selbst. Dabei geht es vor allem um die Inputs, also die Aktivitäten, die Outputs, also die Leistungen, sowie leicht zu erhebende Veränderungen bei den Zielgruppen. Das Outcome-Monitoring dokumentiert vor allem, was passiert. Es dokumentiert eher nicht, wie es passiert oder warum. Evaluation heißt, Daten zu erheben, an einem bestimmten Zeitpunkt oder an mehreren bestimmten Zeitpunkten. Ein bestimmter Zeitpunkt: Das könnte etwa am Ende des Projektes sein. Mehrere Zeitpunkte heißt: Am Anfang des Projektes, zur Halbzeit und am Ende. Die Evaluation ist darauf fokussiert, wie gut und warum etwas passiert und welche Veränderung dadurch zustande kommen. Sie bewertet die Ergebnisse anhand zuvor festgelegter Kriterien, und leitet daraus Handlungsempfehlungen und Verbesserungsvorschläge ab.

[00:01:27.520] – Dr. Franziska Pfitzner-Eden PHINEO gAG

Ein gutes Monitoring ist extrem wichtig für eine Evaluation, denn es kann sein, dass die Daten nachträglich überhaupt nicht mehr durch eine Evaluation generiert werden können, oder eben nur mit sehr hohem Aufwand. Und die Gefahr ist dann, dass bestimmte Erkenntnisinteressen, die in einer Evaluation stecken, überhaupt nicht abgedeckt werden können. Ein regelmäßiges Monitoring kann also die Ressourcen, die für eine Evaluation gebraucht werden, deutlich senken. Es ist z.B. schwer, nach dem Ende eines Projekts die Wirkungen zu bewerten und zu beurteilen, wenn überhaupt gar keine Daten zum Output gesammelt wurden. Nehmen wir das Beispiel eines Programms zur Gewaltprävention an Schulen: Ohne Monitoring-Daten könnte eine Evaluation am Projektende nur feststellen, wie hoch das Ausmaß an gewalttätigen Vorfällen vor und nach dem Programm war. Gibt es keine Daten zu Anzahl und Art der Teilnehmenden, und zu deren Akzeptanz der Maßnahme, ist es schwer, die Daten angemessen zu beurteilen. Denn wie plausibel ist es denn jetzt, dass die eventuellen Änderungen in der Anzahl der gewalttätigen Vorfälle auch tatsächlich auf das Programm zurückzuführen sind? Hat man also keine Monitoring-Daten, muss die Evaluation jetzt nachträglich versuchen diese Daten zu generieren. In unserem Beispiel müsste die Evolution jetzt versuchen, im Nachhinein rauszukriegen, wie viele Schülerinnen und Schüler in den letzten drei Jahren z.B. an den Maßnahmen teilgenommen haben und wie sie diese fanden. Man kann sich vorstellen, dass das ziemlich schwierig und wahrscheinlich auch nur mit sehr hohem Aufwand umsetzbar ist. Außerdem ergibt sich der Nachteil, dass die Daten, die nachträglich erzeugt werden, deutlich weniger verlässlich sind, weil sie etwa auf bloßen Erinnerungen der Schülerinnen und Schüler beruhen. Und wer kann sich noch erinnern an eine Maßnahme, die vor drei Jahren stattfand? Zudem sind die Daten wahrscheinlich unvollständig, als wenn sie durch ein laufendes Monitoring generiert würden.

[00:04:02.880] – Igor Ryabinin PHINEO gAG

Es gibt viele verschiedene Arten von Evaluationen. Die am meisten bekannten Unterscheidungen sind die zwischen summativer und formativer Evaluation sowie zwischen interner und externer Evaluation. Summativ bedeutet, dass die Evaluation am Ende des Projektes stattfindet und überprüft wird, inwiefern die vorher festgelegten Ziele erreicht werden. Bei der formativen Evaluation hingegen findet die Evaluation während Projektdurchführung statt und hat zum Ziel, das Projekt noch zu optimieren oder anzupassen. Eine Evaluation kann außerdem auch stattfinden, bevor das Projekt überhaupt begonnen hat. Das nennt man “ex-ante-Evaluation” oder prospektive Evaluation. Allerdings ist diese Form der Evaluation in der Praxis weniger üblich. Mit Blick auf das Durchführen einer Evaluation kann man zwischen internen und externen Evaluation unterscheiden. Interne Evaluationen bedeuten, dass die Projektmitarbeitenden selbst, also diejenigen, die das Projekt auch umsetzen, die Evaluation durchführen. Externe Evaluation bedeutet, dass jemand von außen die Evaluation umsetzt. Das können z.B. externe Evolutionsinstitute sein oder freiberufliche Evaluatorinnen. Beide Ansätze haben ihre Vor und Nachteile. Bei der internen Evaluation ist der Vorteil, dass die Projektmitarbeitenden oft ein hohes Fachwissen zum Evolutionsgegenstand mitbringen, also viel Know-how zum Projekt haben. Der Nachteil dabei ist oft, dass die Projektmitarbeitenden lediglich ein geringes methodisches Fachwissenmitbringen. Bei der externen Evaluation verhält es sich genau andersherum.