Wirkungen feststellen zu wollen, kann aus vielen Gründen eine große Herausforderung darstellen. Was tun bei Wirkungen, die sich nur mit viel Aufwand nachweisen lassen?
Herausforderung: Langfristige Wirkungen nachweisen
Viele Non-Profits zielen auf Wirkungen, die erst nach
längerer Zeit eintreten. Solche Wirkungen nachzuweisen ist aufwendig. Das beginnt schon mit der Datenerhebung, wenn ihr etwa versucht, ehemalige Teilnehmende zu kontaktieren und zu befragen, womöglich erst Jahre nach einer Maßnahme …
Zudem stellt sich die Frage, inwieweit die dann festgestellten
Wirkungen tatsächlich auf eure Arbeit zurückzuführen sind, denn in der Zeit
zwischen Maßnahmenende und dem Eintreten der Wirkung ist im Leben der
Teilnehmer*innen einiges passiert. Mit Sicherheit waren sie einer Vielzahl an Einflüssen
ausgesetzt, von denen ebenso sicher viele die geplante Wirkung mit beeinflusst haben.
Das könnt ihr tun:
- Setzt frühzeitig Prozesse in Gang, die sicherstellen, dass ihr regelmäßig Feedback von euren Zielgruppen einholt bzw. von Teilnehmer*innen, die ehedem an einer Maßnahme beteiligt waren.
- Pflegt von Anfang an eure Kontaktdatenbank, um auch solche Teilnehmer*innen kontaktieren zu können, die vor langer Zeit an einer Maßnahme teilgenommen haben. Wer nicht weiß, wen er hinterher befragen soll und wo diese Leute eigentlich abgeblieben sind, wird bereits an diesem Punkt vor unlösbaren Aufgaben stehen.
- Kündigt vielleicht schon während der Maßnahme an, dass ihr euch irgendwann später nochmal zu einer Nachbefragung melden werdet.
- Bittet jede*n Befragte*n um während und nach der Maßnahme um eine Einschätzung, wie groß
der Einfluss der Maßnahme auf seine aktuelle Lebenssituation ist. Pi mal Daumen.
Im Einzelfall helfen solche Selbsteinschätzungen natürlich kaum, aber wenn die Stichprobe groß genug ist, lassen sich daraus durchaus Erkenntnisse ableiten. Überdies: Wenn ihr feststellt, dass bei den Teilnehmenden Wirkungen der Outcome-Stufen 4 (Veränderungen im Wissen) und 5 (Veränderungen im Verhalten und Handeln) eintreten, könnt ihr mit einer gewissen Wahrscheinlichkeit annehmen, dass eure Maßnahme auch Einfluss auf Outcomes der Stufe 6 (Änderung der Lebenssituation) besitzt.
Herausforderung: Teilnehmende wollen oder können nicht befragt werden
In einigen Fällen ist es schwierig, die Teilnehmer*innen direkt befragen
zu können: Manche haben Vorbehalte, andere befürchten Nachteile (etwa von Gewalt
Betroffene oder Straftäter*innen etc.) und die nächsten sind schlicht nicht in der
Lage, adäquate Auskünfte zu erteilen (Kleinkinder, schwer Erkrankte etc.).
Das könnt ihr tun:
- Sichert den Befragten unbedingte Anonymität zu und verdeutlicht ihnen, wie diese Anonymität konkret aussieht. Appelliert behutsam, dass ihr die Erkenntnisse aus der Befragung braucht, um die Maßnahme qualitativ weiterentwickeln zu können, noch mehr Menschen zu helfen oder um Gelder akquirieren zu können.
- Befragt nahestehende Personen, z.B. Eltern oder pflegende Angehörige.
Herausforderung: Wirkung nachweisen bei Kampagnen & Advocacy
Ziel von Kampagnen ist es, die öffentliche Meinung und Entscheidungsträger*innen zu beeinflussen sowie Prozesse anzustoßen, die sich in
einer Veränderung des Bewusstseins und des Verhaltens bestimmter Zielgruppen ausdrücken, etwa Kampagnen gegen Cybermobbing oder das Rauchen.
Solche Wirkungen sind generell schwer zu
erheben. Ob beispielsweise die Kampagne gegen Plastikmüll die erwünschte Wirkung auf
gesellschaftlicher Ebene erzielt, lässt sich in den allermeisten Fällen nur durch groß angelegte Studien ablesen, die für
einzelne Organisation kaum umsetzbar sind.
Das könnt ihr tun:
- Definiert entlang der Wirkungslogik eurer Maßnahme einzelne Meilensteine und Teilziele, an bzw. zu denen denen sich auch Messdaten erheben lassen. Ob etwa Entscheidungsträger*innen oder Multiplikator*innen beeinflusst wurden, lässt sich hilfsweise dadurch überprüfen, ob diese Zielgruppen die in der Kampagne postulierten Forderungen aufgegriffen oder Argumente übernommen haben, oder ob es eine stärkere mediale Berichterstattung gab.
Hausforderung: Zielgruppe sind andere gemeinnützige Organisationen
Bei Maßnahmen, deren Zielgruppen andere gemeinnützige Organisationen sind, ergeben
sich die Wirkungen aus dem Nutzen, den diese Organisationen aus eurer Unterstützung ziehen.
Veränderungen im Wissen und in der Arbeitsweise der
Organisation sind mittelfristig gut nachweisbare Outcomes, etwa durch Befragungen und dergleichen. Eine langfristige Wirkung wäre, wenn
die Organisation insgesamt effektiver arbeiten würde – eine Einschätzung, die vor
allem auf Basis qualitativer Daten getroffen werden kann.
Angenommen, eine eurer Maßnahmen unterstützt andere gemeinnützige Organisationen dabei,
ehrenamtliche Mitstreiter*innen zu gewinnen und zu managen, dann …
- bestünde eine Wirkung eurer Maßnahme auf Outcome-Stufe 4 darin, dass die Non-Profit nunmehr weiß, wie man Ehrenamtliche akquiriert und effektiv betreut
- wäre eine Wirkung auf Outcome-Stufe 5, dass die Non-Profit dieses neue Wissen im Projektalltag auch regelmäßig anwendet
- ließe sich von Wirkungen auf Outcome-Stufe 6 reden, wenn die Non-Profit infolge ihres verbesserten Ehrenamtsmanagements ihre Angebote effektiver umsetzt als vor eurer Intervention.
Mehr zur Wirkungstreppe und den einzelnen Stufen im Beitrag “Was ist eigentlich soziale Wirkung?”.
Herausforderung: Wirkungen auf Ebene der Gesamtgesellschaft nachweisen (“Impact”)
Vorweg: Wirkungen auf gesamtgesellschaftlicher Ebene (“Impact”) zu erheben, ist in vielen Fällen schwierig bis unmöglich, denn Veränderungen auf gesamtgesellschaftlicher Ebene treten in den
allermeisten Fällen erst nach längerer Zeit auf. Hinzu kommt, dass Impacts unendlich vielen Einflüssen unterliegen und nie monokausal sind. Hier die reine Netto-Wirkung eines einzelnen Projekts
herausfiltern zu wollen, kann schon vom Ansatz her nicht funktionieren. Das bedeutet allerdings nicht,
dass ihr es nicht dennoch versuchen solltet!
Das könnt ihr tun:
- Denkt den Impact bereits in der Planungsphase und dann in der Analysephase richtig mit: Entwickelt realistische und plausible Indikatoren, anhand derer ihr feststellen könnt, ob ihr Teilziele und Meilensteine erreicht habt bzw. eure Maßnahme einen Einfluss auf das Gesamtgefüge hatte.
- Zügelt eure Erwartungen (oder die eurer Geldgeber*innen), was Impacts angeht. Verweist ausführlich auf die komplexen Zusammenhänge gesellschaftlicher Wirkung. Skizziert, welchen Anteil euer Tun im gesamten Getriebe einnimmt und welche Wirkung daher realistisch möglich ist.
Herausforderung: Wirkungserhebung bei offenen Angeboten
Offene Angebote für Kinder, sozial Benachteiligte oder ältere Menschen
haben häufig Probleme, Aussagen über ihre Wirksamkeit zu treffen. Mal ist die Gruppe der Teilnehmer*innen sehr heterogen, mal
nehmen diese nur unregelmäßig an der Maßnahme teil, sodass es schwierig erscheint, a) vorher konkrete Wirkungsziele zu setzen und b) hinterher Wirkungen nachzuweisen.
Das könnt ihr tun:
- Denkt um die Ecke: Warum nutzen Menschen eure Maßnahme?
Ein Senior*innen-Treff wird nicht allein deshalb frequentiert, weil Kaffee und Kuchen so gut schmecken, sondern weil die Senior*innen soziale Kontakte knüpfen und ihre eigene Lebensqualität steigern wollen. Was wären hierfür geeignete Wirkungsziele und Indikatoren?
Auch wenn es im Jugendfreizeithaus wesentlich darum geht Spaß zu haben, bauen die Kinder und Jugendlichen soziale Kompetenzen auf und lernen, Verantwortung zu übernehmen. Was wären sinnvolle Wirkungsziele und Indikatoren?
Setzt hierbei auf qualitative Daten: befragt die Menschen, sammelt Anekdoten und Einzelfallstories. Unterfüttert die Outputs der Maßnahme mit Feedbacks der Teilnehmer*innen, wie ihnen das Angebot gefallen hat.
Herausforderung: Wirkung feststellen bei Präventionsprojekten
Wenn Menschen Plastikmüll vermeiden oder Teens nicht mit 14 Jahren schon Eltern werden, haben Präventionsprojekte ihr Ziel erreicht.
Dass sich ebendiese Wirkungen auf eine einzelne konkrete Maßnahme zurückführen lassen, ist nahezu ausgeschlossen. Erstens, weil sich der Erfolg präventiver Maßnahmen häufig erst nach Jahren und Jahrzehnten zeigt und, zweitens, weil Prävention stets multikausalen Zusammenhängen unterliegt (s.o.).
Das könnt ihr trotzdem versuchen:
- Ermittelt eine Art Vergleichsgruppe (“Kontrollgruppe”), die nicht Teil der Maßnahme war bzw. ist. Bei Kampf gegen übergewichtige Kinder in einem Stadtteil etwa könnten Kinder aus anderen Schulen des Nachbarstadtteils berücksichtigt werden.
- Bemüht die Wirkungslogik (s.o.), um für einzelne Etappen und Meilensteine ebenso erreichbare wie plausible Wirkungsziele zu definieren.
Es bleibt schwer, schwer zu erhebende Wirkungen nachzuweisen
Um schwer zu erhebende Wirkungen nachzuweisen, ist es häufig nötig, eher einzelne Meilensteine “messbar” zu machen und später aus der Gesamtheit erreichter Meilensteine vorsichtig eine Wirkung ableiten zu können (“DIe Maßnahme trug dazu bei, dass …”).
In jedem Fall empfiehlt es sich, bei den Ziele und Indikatoren um die Ecke zu denken und diese so zu definieren, dass sie stets eindeutig, machbar, messbar und zeitlich definert sind.
