… und sollten wir sie selbst machen oder auslagern?
Monitoring, Evaluation, Wirkungsanalyse – Wann ist der richtige Zeitpunkt?
Bevor man sich ans Datensammeln macht, sollte man sich über zwei Aspekte klar werden:
- Wann ist der richtige Zeitpunkt, an dem die Daten erhoben werden? – Sammelt ihr sie fortlaufend? Oder einmalig nach jedem Meilenstein, nach Abschluss einer Maßnahme o.Ä.? – Der richtige Zeitpunkt hängt natürlich auch davon ab, ab wann sich Daten überhaupt erheben lassen, also ab welchem Zeitpunkt überhaupt belastbare Informationen vorliegen.
- Nicht minder wichtig ist das Erkenntnisinteresse: Was genau soll eigentlich herausgefunden werden, und welche Daten helfen ganz konkret (und welche nicht)?
Auf der Ebene der Prozesse und Outputs
(also der Leistungen bzw. Maßnahmen, die eine Non-Profit anbietet) kommt es darauf an, zeitnah
herauszufinden, ob das Projekt bei Geld und Zeit noch im Plan liegt. Deswegen sollten solche
Informationen auch regelmäßig erhoben werden – je nach Spielart wöchentlich, monatlich,
vierteljährlich. Denn nur, wer seine Zahlen kennt, kann auch auf Abweichungen angemessen reagieren. (Mehr dazu, was Outputs, Outcomes und Impacts sind, haben wir hier aufgeschrieben.)
Auf der Ebene der Wirkungen (Outcomes und
Impacts) geht es meist um mittel- und langfristige
Resultate. Diese lassen sich im Allgemeinen schwerer feststellen als z.B.
Output-Daten. Allerdings gibt es auch auf dieser Ebene Informationen,
die sich vergleichsweise leicht und regelmäßig erheben lassen, wie etwa die
Veränderung von Schulnoten bei einem Projekt, dass Schüler*innen Nachhilfe anbietet.
Egal, welche Daten letztlich erhoben werden – die
Wirkungsanalyse ist ein kontinuierlicher Prozess. Das heißt, es genügt
nicht, Daten erst zum Projektende hin zu erheben. Denn dann kann man nämlich weder
aus diesen Daten lernen noch adäquat auf sie reagieren. Durch kontinuierliches Monitoring und mithilfe von Zwischenevaluationen lässt sich feststellen, ob das Projekt auf dem richtigen
Weg ist oder ob Anpassungen vorgenommen werden müssen.
Vor Projektstart dient eine Evaluation der Bedarfs- und Umfeldanalyse. Mithilfe einer solchen Rundumerhebung lassen sich die Bedarfe der Zielgruppe noch exakter ermitteln und mit den Projektzielen in Einklang bringen.
Abschluss-Evaluationen werden, wie es der
Name schon sagt, am Ende eines Projekts durchgeführt. Hierbei wird häufig das gesamte Projekt bewertet. Natürlich gibt es Projekte, die
kein (geplantes) Ende haben; in solchen Fällen gibt es auch keine Abschlussevaluation. Gleichwohl aber sollten Zeitpunkte identifiziert werden, an denen eine umfassende
Auswertung stattfindet, etwa wenn ein neues Projektmodul entwickelt oder das
Projekt skaliert werden soll.
Eine Ex-Post-Evaluation findet
einige Zeit nach Abschluss des Projekts statt. Mit ihr soll herausgefunden werden, welche Wirkungen ein Projekt auch über sein Ende hinaus entfaltet. Ein Beispiel für eine Ex-Post-Evaluation wäre eine Verbleibstudie, die ermittelt, was aus den Projektteilnehmenden wurde.
Unabhängig vom Zeitpunkt solltet ihr über eine Evaluation nachdenken, wenn die Monitoringdaten auf signifikante
Abweichungen gegenüber der Planung hinweisen.
Wer führt die Wirkungsanalyse durch?
Während das Monitoring unbedingt Teil des internen
Projektmanagements sein sollte, ist das bei Evaluationen anders: Diese können sowohl durch interne Expertise als auch mit
externer Hilfe realisiert werden.
Ob ihr nun intern selbst die Aufgabe übernehmt oder jemand
Außenstehendes die Daten auswertet, hängt letztlich davon ab,
- ob ihr organisationsintern die erforderlichen Kompetenzen besitzt,
- wie komplex der zu ermittelnde Sachverhalt ist und
- welches Budget zur Verfügung steht (hierzu mehr unten).
Für eine interne Evaluation spricht, dass sie im Vergleich zu einer externen Evaluation günstiger ist. Zudem geht es bei der Wirkungsanalyse vor allem darum, aus den Erkenntnissen zu lernen, und das könnt ihr nur bis zu einem gewissen Grad nach außen abgeben.
Ein weiterer Pluspunkt besteht darin, dass die Mitarbeiter*innen schneller an relevante Informationen gelangen und mehr Sachkunde über das zu beurteilende Projekt besitzen – was allerdings problematisch werden kann, wenn diese Sachkunde in Betriebsblindheit ausartet oder persönliche Beziehungen zu einer Befangenheit führen.
Eine Evaluation durch eine externe Fachkraft hat den Vorteil, dass sie in den meisten Fällen fachlich und methodisch sauberer ist, strukturierter umgesetzt wird (und eben weniger nebenbei) und einen objektiven, überparteilichen Blick einbringt. Diese Unabhängigkeit kann zum Nachteil werden, wenn die externe Fachkraft deswegen Schwierigkeiten hat, an die für die Erhebung relevanten Informationen zu kommen. Für den Erfolg der Evaluation ist es daher extrem wichtig, dass eine gute Zusammenarbeit zwischen dem/der Evaluator*in und allen Beteiligten herrscht.
Eine Lösung für dieses Dilemma könnte in einer Mischform aus interner und externer Evaluation bestehen: Projektmitarbeitende arbeiten Hand in Hand mit der externen Fachkraft, die Expertise und den Blick von außen mitbringt. Die Mitarbeitenden bauen so allmählich Kompetenzen auf, und die externe Fachkraft gewährleistet den neutralen Blick. So kommen die Vorteile aus beiden Ansätzen zusammen – vorausgesetzt, Rollen und Zuständigkeiten sind klar geregelt.
Unabhängig davon, ob es auf eine interne oder eine externe Evaluation hinausläuft, sollte innerhalb des Projektteams klar geregelt sein, wer für die Wirkungsanalyse bzw. deren Koordination verantwortlich ist. Selbstverständlich müssen für diese koordinierenden Aufgaben ausreichend Ressourcen bereitstehen.
Wirkungsanalyse: Wer sollte einbezogen werden?
Grundsätzlich gilt: Wirkungsorientierte
Projektsteuerung ist zum Scheitern verurteilt, wenn sie nicht von der
Organisations- bzw. Projektleitung mitgetragen und gefördert
wird.
Neben Ressourcen braucht es festgelegte Prozesse
und Verantwortlichkeiten. Idealerweise laufen die Fäden an einem Ort bzw.
bei einer Person zusammen. Das sollte allerdings nicht dazu führen, dass sich
alle anderen nicht mehr um die Wirkungsanalyse kümmern. Sinn und Zweck einer
Evaluation ist, gemeinsam aus den Ergebnissen zu lernen – deshalb
sollten auch alle Mitarbeitenden einbezogen sein! Nicht fortwährend, aber eben
doch regelmäßig, denn der primäre Zweck der Wirkungsanalyse ist es, gemeinsam
aus den Ergebnissen zu lernen!
Außerdem kann es sinnvoll sein, etwaige Stakeholder mit einzubeziehen, also Förder*innen, Fachexpert*innen, Personen der Zielgruppe etc. Werden die Stakeholder
einbezogen, sorgt das meist für eine höhere Ergebnisqualität. Außerdem legitmiert es das Vorgehen
und beugt etwaigen Widerständen vor.
Folgende Fragen helfen euch in der Einschätzung, ob und welche Stakeholder bei der Wirkungsanalyse
eingebunden werden sollten:
- Welche Rolle spielen die Stakeholder während der Durchführung der Wirkungsanalyse? Was sollen sie tun, was nicht? Sollen sie aktiv etwas beitragen, weil ihr Unterstützung braucht, oder sollen sie nur eingebunden sein, damit sie sie ernstgenommen fühlen?
- Welche Informationen aus der Wirkungsanalyse sind für sie relevant? Wer muss was wissen?
- Können sie unterstützen, beeinflussen, bremsen, verhindern? Haben sie besondere Hoffnungen, Interessen oder Befürchtungen hinsichtlich der Datenerhebung oder bestimmter Fragestellungen? Falls ja, ergeben sich daraus Konsequenzen für die geplante Erhebung? Müssen etwa andere Fragen oder Beteiligungsformen gewählt werden?
Was kostet eine Wirkungsanalyse?
Erfahrungsgemäß kostet eine angemessene
Wirkungsanalyse zwischen drei bis zehn Prozent des Projektbudgets.
Größter Posten sind die Personalkosten; hinzu kommen Kosten für die Kommunikation der Ergebnisse, Reisekosten, Druckkosten etc.
Drei bis zehn Prozent sind ein sehr theoretischer
Wert – denn in der Realität sind meistens überhaupt keine Mittel eingeplant
(was häufig daran liegt, dass viele Förder*innen noch zu wenig Interesse an
Wirkungszusammenhängen haben und das in einer Förderung entsprechend unberücksichtigt lassen).
Ohne Budget wird es natürlich schwer, überhaupt
irgendetwas zu erheben; aber wenn es euch gelingt, ein paar Mittel loszueisen,
wäre das immerhin ein Anfang. Es gibt durchaus günstige Methoden der
Datenerhebung und -auswertung, wir haben hier einige aufgelistet.
Bei einem schmalen Budget ist es
sinnvoll, lieber einen kleinen, dafür aber relevanten Teil des Projekts zu
evaluieren, als gänzlich darauf zu verzichten.
Idealerweise tauscht ihr euch hierzu frühzeitig intern sowie mit euren Förder*innen aus! Zeigt Förder*innen auf, welche Kosten anfallen, und
überlegt dann mit ihnen gemeinsam, ob und wie sich diese stemmen lassen oder welche Alternativen
es gibt.
Dabei geht es nicht nur darum, das Monitoring grundsätzlich in die
Aufwandsplanung einzupreisen, sondern auch die erforderlichen Mittel für die
Auswertung und Diskussion der Daten, denn all das erfordert Aufwände, die
meistens unterschätzt werden. Gut, wenn ihr mit euren Förder*innen hierüber von
Anfang an im Gespräch seid!
Folgende Fragen helfen, die Kosten überschaubar zu halten
- Sind die Informationen wirklich (wirklich!) hilfreich?
- Liegen die Daten vielleicht schon andernorts vor?
- Ist die Stichprobengröße angemessen?
- Gibt es kostengünstigere Erhebungsinstrumente?
- Welche Aufgaben müssen mit externer Hilfe durchgeführt werden, und welche lassen sich intern realisieren?
Was tun bei unschönen Daten?
Eine systematische Erfolgskontrolle sollte eigentlich verhindern, dass man von schlechten Ergebnissen überrascht wird. Selbstverständlich aber kommt es im Alltag häufig vor, dass manche Resultate nicht den Erwartungen entsprechen werden. Im ersten Step kann es hierbei helfen, die Daten auf ihre Plausbilität hin zu prüfen, denn es ist durchaus denkbar, dass es bei der Auswertung zu Ungenauigkeiten kam, die das Bild am Ende erheblich verzerren.
Hilft das nichts, kann es helfen, das Ergebnis in den Gesamtkontext zu setzen – womöglich ist das Resultat mit Blick auf die Gesamtgemengelage aller Voraussetzungen und der vielleicht eingangs zu optimistisch formuierten Wirkungsannehmen doch besser als zunächst befürchtet?
Hilft auch das nichts, informiert am besten eure Stakeholder über den aktuellen Stand. Verdeutlicht, warum manche Resultate hinter den Erwartungen zurückbleiben und welche Gegenmaßnahmen ihr einplant.
