Wirkungsanalyse, Monitoring und Evaluation haben alle mit Ergebniskontrolle zu tun, erfüllen aber unterschiedliche Funktionen. Wir klären auf
Was meint Wirkungsanalyse?
Der Begriff Wirkungsanalyse kann in einem engeren
und in einem weiteren Sinn verstanden werden.
Wirkungsanalyse im engeren Sinne bedeutet, dass ausschließlich die Wirkungen eines Angebots oder Projekts betrachtet werden – also nur Outcomes und Impacts, und eben keine Outputs. (Was Outputs, Outcomes und Impacts sind, bitte hier entlang.)
Bei so einer rein ergebnisorientierten Betrachtung bleibt allerdings unklar, wodurch diese
Wirkungen erzielt wurden und welche Maßnahmen dazu maßgeblich beitrugen (und
welche nicht).
Insofern möchten wir für eine Wirkungsanalyse in einem weiter gefassten Sinn werben, die
neben den Wirkungen – den sogenannten Outcomes und Impacts – auch die erbrachten Leistungen – Outputs – und deren Qualität hinterfragt sowie die grundlegenden
Wirkungsannahmen betrachtet, auf denen das Projekt fußt.
Häufig wird in diesem Zusammenhang der Begriff “Wirkungsmessung” genutzt.
Dieser Terminus suggeriert, dass Wirkungen sich exakt messen lassen oder stets
quantifizierbar sind. Dabei ist das Gegenteil der Fall. Wirkungen, insbesondere in
der sozialen Arbeit, sind in der Realität komplex und keineswegs
berechenbar, schon gar nicht auf Gramm und Komma. Daher ist der Begriff Wirkungsanalyse
der in diesem Kontext passendere.
Ähnlich, aber doch verschieden: Monitoring und Evaluation
Monitoring und Evaluation sind unterschiedliche Arten, um Daten im Zuge einer Wirkungsanalyse zu erfassen und auszuwerten. Monitoring und Evaluation werden – verkürzt als M & E – oft in einem Atemzug genannt, und beide erfüllen wichtige Aufgaben im Rahmen der wirkungsorientierten Projektsteuerung. Gleichwohl sind sie aber unterschiedlich und keineswegs dasselbe, nur ein bisschen anders.
- Monitoring meint das regelmäßige Erheben von Daten mit dem Ziel, sowohl die
Projektfortschritte als auch die Einhaltung von Qualitätsstandards zu
überprüfen.
Das Monitoring eignet sich vor allem dazu, Inputs – also in das Projekt investierte Ressourcen wie bspw. Zeit, Geld, Personal etc. – und Outputs – die aus dem Projekt resultierenden Angebote und Leistungen, also bspw. Schulungen, Spielnachmittage, Coachings – sowie leicht erhebbare Wirkungen zu erfassen.
Schwerer zu erfassende Daten werden dagegen meist mittels einer Evaluation erhoben. Verraten beispielsweise die im Monitoring gewonnenen Daten, dass ein Projekt nicht wie geplant läuft, lässt sich mittels einer Evaluation feststellen, warum das so ist.
- Eine Evaluation
betrachtet und bewertet Prozesse, Ergebnisse und erzielte Wirkungen. Sie fußt auf den Daten des Monitoring.
Eine Evaluation kann zu verschiedenen Zeitpunkten durchgeführt werden. Bei zeitlich befristeten Projekten finden Evaluationen oft erst zum Projektende hin statt. Natürlich ist so eine Abschlussbilanz sinnvoll, gerade auch mit Blick auf das Reporting gegenüber Förder*innen. Doch im Sinne der Wirkungsanalyse besitzt eine nachgelagerte Evaluation zum Projektende oft wenig Sinn, weil die Erkenntnisse dieser Evaluation kaum mehr für das Projekt selbst nutzbar sind.
Versucht daher, die Evaluation zu einem Zeitpunkt vorzunehmen, an dem ihr die Ergebnisse für die wirkungsorientierte Projektsteuerung auch wirklich noch nutzen könnt! Eine solche Zwischenevaluation ist sehr sinnvoll, zumal sie – gut geplant – den Rahmen für eine spätere, umfassendere Evaluation steckt; dann hat man später weniger Aufwand.
Monitoring als zentraler Faktor der wirkungsorientierten Steuerung
Die Diskussion um Wirkungsanalysen wird bestimmt durch das
Thema Evaluation. So sehr Evaluationen bei Wirkungsanalysen eine wichtige
Funktion einnehmen, sollte das Monitoring dabei aber nicht aus den Augen verloren werden!
Monitoring ist das Frühwarnsystem, das
feststellt, wenn es im Projekt zu unerwarteten Entwicklungen kommt. Ein gutes
Monitoring ist unabdingbar, wenn ihr auf Probleme reagieren möchtet, bevor das
ganze Projekt in Gefahr gerät. Gleichzeitig trägt das Monitoring auch dazu bei, Erfolge festzustellen. Eine tolle Sache, denn so können sich auch Projekte, denen Mittel für eine aufwendige Evaluationen fehlen, im Zuge des Monitorings Aussagen über ihre Resultate treffen.
