Wirkung lernen: Soziale Projekte besser managen

Tagtäglich engagieren sich Menschen, um die Gesellschaft besser zu machen. Im Kiez, in der Region oder weltweit. All diese Menschen möchten mit ihrer Arbeit möglichst viel bewirken. Aber was genau ist eigentlich Wirkung? Wie lässt sie sich messen? Oder gar planen? All das zeigen wir hier.

Die Website wirkung-lernen.de musste nach Ablauf der Kampagne leider eingestellt werden. Du findest die meisten Inhalte jetzt an dieser Stelle. Das Kursbuch Wirkung kannst du weiterhin herunterladen.

The website social-impact-navigator.org has been discontinued. You can still download PHINEO’s non-profit guide to impact orientation by clicking the link: Social Impact Navigator (PDF, 20 MB)

Inhalt
(per Klick zum gewünschten Kapitel springen)

• 1. Wirkung planen
  • Was ist Wirkung?
  • Bedarfe verstehen
  • Wirkungsziele setzen
  • Wirkungslogik erstellen

• 2. Wirkung analysieren
  • Vorbereitung
  • Indikatoren entwickeln
  • Daten erheben
  • Daten auswerten

• 3. Wirkung verbessern
  • Lernen und verbessern
  • Über Wirkung berichten
  • Fazit und Ausblick
  • Glossar

1. Wirkung planen

Wer sich von Anfang an mit Wirkung beschäftigt, arbeitet effektiver, zielgerichteter und manchmal sogar schneller. Wirkung spart Geld, Zeit und Nerven. Das Gute ist: Wirkung lässt sich planen. Es gibt sogar verschiedene Wirkungsgrade, die zeigen, in welchem Maße ein Projekt wirkt.

Aber: Wirkung gibt’s nicht einfach so, und sie passiert auch nicht zufällig. Vielmehr ist sie das Ergebnis systematischer Planung. Sie entsteht immer dann, wenn wir fest definierte Ziele verfolgen und regelmäßig prüfen, ob diese Ziele noch erreichbar sind.

Praxisbeispiel: PAFF – Paten für Ausbildung und Förderung in Frankfurt/M.

PAFF gibt es seit 5 Jahren; das Projekt ist an zwei Schulen im Stadtteil aktiv. PAFF hat nur wenig Geld, daher gibt es zwar eine hauptamtliche Projektleitung, aber die Arbeit selbst wird hauptsächlich durch ehrenamtliche Patinnen und Paten getragen. Die Jugendlichen, um die sich PAFF kümmert, zeichnen sich durch mangelhafte Schulleistungen aus; ein qualifizierter Schulabschluss liegt in weiter Ferne. Deswegen finden sie seltener einen Ausbildungsplatz als Jugendliche aus anderen Stadtteilen.

Die Gemengelage ist dabei unübersichtlich: Viele der ausbildungsschwachen Jugendlichen haben einen Migrationshintergrund, wieder andere stammen aus sozial schwachen Familien, und manche beides. Ziel von PAFF ist es, Jugendliche fit für die Ausbildung zu machen und sie beim Schritt ins Arbeitsleben zu unterstützen.

Um das zu erreichen, werden die Jugendlichen von ehrenamtlichen Paten und Patinnen begleitet – pensionierten Führungskräften etwa. Die Patinnen und Paten treffen sich regelmäßig, um sich auszutauschen. Damit das geordnet vonstatten geht, bekleiden einige von ihnen den Posten eines Patengruppenbetreuenden. Neben dem Mentoring bietet PAFF auch Nachhilfestunden und Bewerbungstrainings an. Diese werden von externen Profis durchgeführt.

Was ist Wirkung?

Tagtäglich engagieren sich Menschen. Sie investieren Geld und Herzblut, damit es Benachteiligten besser geht, die Natur geschützt oder die Kultur im Kiez gefördert wird. Kurz: Sie versuchen jeden Tag aufs Neue, die Gesellschaft voranzubringen und dabei die größtmögliche Wirkung zu erzielen.

Aber was genau ist eigentlich Wirkung?

Bezogen auf gemeinnützige Arbeit spricht man immer dann von Wirkung, wenn eine Maßnahme zu Veränderungen

• bei der Zielgruppe,
• in deren Lebensumfeld und/oder
• in der Gesellschaft insgesamt führt.

Es gibt verschiedene Stufen, die Wirkung erreichen kann. Die Wirkungstreppe zeigt, welche das sind:

• Wirkungen auf Ebene der Gesellschaft werden als Impact bezeichnet. Das wäre in der Abbildung die Stufe 7, ganz oben.
• Wirkungen bei den Zielgruppen sind Outcomes. Outcomes lassen sich untergliedern, im Bild sind das die Stufen 4 – 6.
• Die dritte Outcome-Stufe ist erreicht, wenn sich die Lebenslage der Zielgruppe ändert, sie etwa sozial aufsteigt (Stufe 6).
• Die zweite Outcome-Stufe ist erreicht, wenn die Zielgruppe ihr Verhalten ändert (Stufe 5).
• Die erste Outcome-Stufe ist erreicht, wenn die Zielgruppe neue Fähigkeiten erwirbt (Stufe 4).

Impact und Outcomes ergeben sich aus den Leistungen, die ein Projekt anbietet. Diese Leistungen bezeichnet man als Outputs. Klassische Outputs sind Schulungen, Fußball-Trainings, Chor-Proben, Lernmaterialien, Filme (oder auch diese Website hier). Outputs umfassen Angebote, Maßnahmen oder Produkte. In der Wirkungstreppe sind die Outputs in den Stufen 1 – 3 dargestellt.

PAFF: Beispiel für Outputs, Outcomes und Impact

Ein Projekt möchte Jugendlichen helfen, einen Ausbildungsplatz zu finden. Die Outputs (Leistungen) des Projekts könnten etwa in Nachhilfestunden und Bewerbungstrainings bestehen.

Nun sagt die bloße Durchführung von Nachhilfestunden und selbst eine hohe Teilnehmendenzahl nichts über die Wirkung aus. Denn eine Teilnahme bedeutet nicht automatisch, dass die Jugendlichen einen Job finden. Aber natürlich sind die Outputs eine Voraussetzung dafür, um Wirkungen zu erzielen.

Erwerben die Jugendlichen infolge der Schulung relevante Kenntnisse und Fähigkeiten bei der Jobsuche, gewinnen Selbstvertrauen und können selbstständig Bewerbungen erstellen, sind das Wirkungen (Outcomes)

Gelingt es dem Projekt, die Jugendlichen zu vermitteln, und trägt dies zu einem allgemeinen Rückgang der Arbeitslosigkeit in der Region bei, hätte es eine Veränderung auf gesellschaftlicher Ebene bewirkt (einen Impact).

Zusammengefasst:

Ein Projekt bietet bestimmte Leistungen und Maßnahmen an. Das sind Outputs. Infolge dieser Outputs können sich Wirkungen bei den Zielgruppen ergeben. Das wären Outcomes. Diese Outcomes können unterschiedlicher Natur sein. Aus den Outcomes wiederum kann sich eine Wirkung auf gesamtgesellschaftlicher Ebene zeigen. Das wäre ein Impact.

Outcomes beziehen sich stets auf die Wirkungen bei den Zielgruppen des Projekts. Impacts beschreiben die erwünschten Veränderungen auf gesellschaftlicher Ebene (sozial, ökonomisch etc.). Impacts beziehen sich stets auf einen Teil der Gesellschaft, also etwa die Bevölkerung in einem Stadtteil oder einer Region.

Noch detaillierter erklären wir diese Begriffe, wenn es um die Wirkungslogik gehen wird. Im nachfolgenden Video gibt es schon mal einen ersten Einstieg:

Bevor wir gleich in die Materie einsteigen noch ein Wort vorweg: Um “Wirkung”, “Wirkungsorientierung” und “Wirkungsmessung” wird mancherorts einer ziemlicher Wirbel gemacht (woran diese Seite und ihre Urheber*innen nicht ganz unschuldig sind). Buzzwords und Hype rausgerechnet, ist wirkungsorientiertes Arbeiten vor allem zweierlei:

1. Eine Haltung: Engagiere ich mich um des Engagements willen – oder möchte ich der Zielgruppe maximal helfen?
2. Eine Spielart des Projektmanagements, angepasst an die Bedarfe gemeinnütziger Arbeit

Nicht mehr, aber auch nicht weniger verbirgt sich hinter dem Begriff der “Wirkungsorientierung”.

Bedarfe verstehen: Wer braucht was und wozu?

Hier erfährst du …

• wie du eine Bedarfs- und Umfeldanalyse vornimmst
• wie du Wirkungsziele bestimmst
• wie du einen Handlungsansatz entwickelst
• wie du eine Wirkungslogik erstellst

Die Ausgangssituation und der Kontext, in dem du dich bewegst, sind wichtig, und natürlich die individuellen Wünsche der Zielgruppe. Genau dasselbe ist bei der Planung und Umsetzung von sozialen Projekten erforderlich: Das Projektumfeld und die Bedarfe der Zielgruppen müssen dir bekannt sein.

Die Bedarfs- und Umfeldanalyse ist in vielerlei Hinsicht sinnvoll:

1. Sie hilft dir, deine Ressourcen effizient und effektiv zu verplanen.
   Schon ein mittelumfangreicher Scan deines Umfelds wird dazu führen, dass du weißt, an welchen Stellen du die Zielgruppe erreichst, welche anderen Akteure im Bereich aktiv sind und worin deren Angebot besteht.
2. Sie dient dazu, alle Stakeholder an Bord zu holen.
   Stakeholder sind Personen, Personengruppen oder Institutionen, die von Ihrem Projekt positiv oder negativ betroffen sind und/oder die es beeinflussen können. Das sind: meistens viele. Bei der Umfeldanalyse filtern Sie diejenigen heraus, die für das Projekt relevant sind!
3. Sie schafft einen Referenzpunkt für die spätere Wirkungsanalyse.
   Mit den Daten aus der Bedarfs- und Umfeldanalyse ziehst du eine Nulllinie ein, einen Referenzpunkt, den du für die im Projektverlauf erhobenen Daten brauchst. Anhand dieses Referenzpunktes kannst du später feststellen, ob und was konkret sich verändert hat.
4. Sie legitimieren deine Arbeit gegenüber der Öffentlichkeit und Geldgebenden.
   Mithilfe einer Umfeldanalyse kannst du immer begründen, warum und wieso du dich einem ganz speziellen Problem widmest. Das ist vor allem im Hinblick auf etwaige Fördernde charmant, die häufig über unpräzise Förderanträge klagen. Überdies findest du über eine Umfeldanalyse womöglich potenzielle Geldgebende, die du vorher noch gar nicht auf dem Schirm hattest.

Kurz gesagt: Bei der Bedarfs- und Umfeldanalyse sammelst und verdichtest du systematisch alle Informationen, die du für das Projekt benötigst. Im Umkehrschluss gilt: Ohne Bedarfsanalyse wirst du keinen vernünftigen und realistischen Plan aufstellen können.

Der richtige Zeitpunkt

Eine Bedarfs- und Umfeldanalyse ist generell immer dann sinnvoll, wenn du ein Projekt neu konzipierst oder ein laufendes Projekt weiterentwickelst. Weitere gute Zeitpunkte sind:

– während der Projektumsetzung (und dann in regelmäßigen Abständen),
– wenn dein Monitoring darauf hinweist, dass etwas nicht wie geplant läuft,
– wenn du überlegst, das Projekt zu verbreiten,
– wenn du das laufende Projekt um zusätzliche Angebote erweitern möchtest.

Feintuning: Sinn & Zweck der Umfeld- und Bedarfsanalyse

Eine Bedarfs- und Umfeldanalyse ist mit einigem Aufwand verbunden. Deswegen solltest du genau wissen, worin das Ziel deiner Analyse besteht. Natürlich wird es immer um die Zielgruppen und das Projektumfeld gehen. Aber der jeweilige Fokus ist entscheidend:

• Beispiel Zielgruppe: Möchte ein*e potenzielle*r Förder*in von dir wissen, wie die Bedarfslage vor Ort aussieht? Oder möchtest du ermitteln, an welcher Stelle es in den Angeboten anderer Akteure noch Lücken gibt, die du schließen könntest?
• Beispiel Projektumfeld: Planst du ein bundesweites Projekt, und möchtest du herausfinden, wo du den ersten Standort errichtest? Oder willst du dein Projekt an andere Standorte verbreiten und herausfinden, welche Standorte hierfür außerdem geeignet wären?

Je nach Stoßrichtung benötigst du also ganz andere Informationen. Das klingt ebenso trivial wie naheliegend, ist aber in der Praxis mitunter schwierig, weil die Daten die gewünschte Trennschärfe nicht hergeben.

Anstatt Terabytes an Daten anzuhäufen, lohnt es sich also, vorher eine Schleife mehr zu drehen, um die richtigen Fragen zu finden, auf die du Antworten brauchst. Die erforderlichen Daten zu beschaffen wird damit zwar nicht unbedingt leichter, aber du verringerst die Gefahr, dich zu verzetteln.

Je genauer du weißt, welche Art von Informationen du für welchen Zweck brauchst, desto effektiver kannst du recherchieren. – Das klingt sehr naheliegend, und dennoch neigen viele Projektverantwortliche dazu, wie wild erstmal alle Arten von Daten zu sammeln (“Schadet ja nicht!”).

Sofern dir keine Daten vorliegen, kannst du diese selbst ermitteln. Die Möglichkeiten hierfür sind nahezu unbegrenzt und reichen von sehr komplexen wissenschaftlichen Erhebungen bis hin zu Instrumenten, die mit wenig Vorkenntnissen und wenig Ressourcen vom Projektteam selbst angewendet werden können. Im Kapitel “Datenerhebungsmethoden” stellen wir dir einige Instrumente vor, von günstig bis aufwändig.

Aufwand vs. Ertrag

Ein angemessenes Verhältnis zwischen Aufwand und Ertrag ergibt sich aus:

– Umfang und Höhe der Projektmittel. Je höher das Budget, umso wichtiger ist eine gute Themen- und Umfeldanalyse.
– dem geografischen Förderschwerpunkt des Projekts.
– dem Komplexitätsgrad des Problems: Unterstützt das Projekt beispielsweise das jährliche Sommerkonzert des örtlichen Musikvereins, brauchst du dafür keine wissenschaftliche Expertise. Anders sieht es aus, wenn du den Musikunterricht in deutschen Schulen reformieren möchtest.

Um ein umfassendes Bild von der Ausgangssituation, den Bedarfen vor Ort und dem Projektumfeld zu bekommen, solltest du dich über verschiedene Fragen nähern:

1. Worin besteht das gesellschaftliche Problem, auf das das Projekt reagieren möchte? Ist das Problem so groß wie angenommen?
2. Welche Ursachen und Auswirkungen hat das Problem, und wie hängen diese zusammen? Wie dringlich ist es? Wo sind Hebel, um Veränderungen herbeizuführen?
3. Wer sind die Zielgruppen des Projekts? Was brauchen die Leute, welche Bedarfe haben sie?
4. Welche Akteure sollten in das Projekt einbezogen werden?
5. Welche Angebote unterbreitet deine Organisation den Zielgruppen und wie wettbewerbsfähig sind diese?
6. Welche Angebote gibt es bereits im Umfeld? Welche Ergebnisse haben diese bisher erzielt? Welche Förderlücken sollten geschlossen werden? Gibt es Möglichkeiten, mit anderen zu kooperieren? Wo lauern Konkurrenzsituationen?

Wer, was, wie viel? – Ausmaß des Problems und die Situation vor Ort

Im ersten Schritt verschaffst du dir einen Überblick über den Umfang des gesellschaftlichen Problems. Demografische Daten und Informationen zur Infrastruktur helfen dabei, dir ein aussagekräftiges Bild über den künftigen Projektstandort zu machen.

Ermittle, wie viele Personen tatsächlich betroffen sind. Informationen hierzu finden sich meistens in offiziellen Statistiken. Aber Achtung: Komprimierte Informationen wie von Destatis sind nur bedingt hilfreich, weil sich selten Rückschlüsse auf einzelne Stadtteile ziehen lassen.

Befrage andere Akteure im Sektor. Projekte, die bereits länger im Themenfeld arbeiten, wissen über die Situation vor Ort und die Bedarfe der Zielgruppe Bescheid. (Wer deine Zielgruppen sind, klärst du im nächsten Abschnitt.)

Parallel dazu kannst du versuchen, deine Zielgruppen in die Recherche mit einzubinden. Hierfür eignen sich beispielsweise Bürger*innen-Plattformen, die es in Ballungszentren wie Berlin, Hamburg, Köln etc. gibt. In solchen Foren tauschen sich Bürger*innen über religiöse oder soziale Grenzen hinweg über ihr Engagement aus.

Gespräche mit der Zielgruppe bieten den Vorteil, dass du deine Angebote frühzeitig umfeld- und adressat*innengerecht gestalten kannst. Der Aufwand lohnt sich, denn Angebote, die die Wünsche der Zielgruppen berücksichtigen, werden deutlich mehr Wirkung erzielen als solche, die auf rein wissenschaftlicher Expertise fußen.

Praxisbeispiel: So macht es PAFF

PAFF beobachtet fortlaufend, wie sich die Jugendarbeitslosigkeit in Deutschland und am regionalen Ausbildungsmarkt entwickelt. Um ein Bild der Situation vor Ort zu gewinnen, bittet der Verein das örtliche Jobcenter, die Schulen sowie das Jugendzentrum im Stadtteil um eine Einschätzung.

Die Auswertung zeigt, dass die Jugendarbeitslosigkeit im Stadtteil überdurchschnittlich hoch und das Ausbildungsplatzangebot zugleich gering ist. Den Befragten aus Schulen und Stadtteilzentrum zufolge führt dieser Zustand zu Frustration und Perspektivlosigkeit bei den Jugendlichen.

Vorhandene Angebote und Förderlücken

In vielen Fällen wird es bereits Organisationen geben, die in Ihrem Themenfeld tätig sind. Es lohnt sich, deren Handlungsansätze und Angebote zu durchleuchten. Dabei es geht weniger darum, die Organisationen detailliert zu bewerten als vielmehr darum, Lücken zu identifizieren bzw. anschlussfähige Angebote zu entwickeln.

Hier findest du Daten und Hintergrundinformationen:

• Die Sozialberichterstattung der amtlichen Statistik liefert vergleichbare Daten für Bund und Länder aus den Bereichen soziale Mindestsicherung sowie Armut & soziale Ausgrenzung.
• Viele der großen Städte (u. a. Berlin, München, Hamburg, Stuttgart) veröffentlichen mittels eines Sozialatlas Daten über die sozialräumliche Entwicklung in den einzelnen Stadtteilen (Schlagwort: Sozialatlas + Namen der Stadt).
• Das Statistische Bundesamt (Destatis) liefert Daten für alle Bereiche aus Wirtschaft & Gesellschaft.
• Daten zur Entwicklung des Arbeits- und Ausbildungsmarktes finden sich auf der Webseite der Bundesagentur für Arbeit.
• Der Wegweiser Kommune stellt für alle Kommunen Deutschlands mit mehr als 5.000 EinwohnerInnen Daten zu den Themen demografischer Wandel, Wirtschaft & Arbeit, Wohnen, Bildung, Finanzen etc. auf Gemeinde- und Kreisebene bereit.
• Der Wegweiser Bürgergesellschaft bietet einen guten Ausgangspunkt für Recherchen in verschiedene Themengebiete.

Weitere effektive Recherchemethoden mit überschaubarem Aufwand sind …

• das Sichten von Fachzeitschriften, Publikationen u. ä.
• Anfragen bei Dachverbänden, Wohlfahrtsverbänden oder solchen Institutionen, die als Interessenvertretung oder Zielgruppen auftreten
• Anfragen bei (lokalen) Fachbehörden, die für das Thema zuständig sind
• der Erfahrungsaustausch mit anderen Stiftungen, die im Themenfeld tätig sind
• Gespräche mit Betroffenen und Beteiligten
• der Austausch mit Expert*innen und Wissenschaftler*innen
• Gespräche mit Vertreter*innen von Fördermittelgebenden;
• der Besuch von Fachkonferenzen etc.

Aufwändiger hingegen gestalten sich …

• eigene Umfragen bei den Zielgruppen bzw. Stakeholdern,
• runde Tische mit Fachleuten
• Benchmarkanalysen, Evaluationen etc.

Manche gesellschaftlichen Probleme lassen sich nicht im Alleingang lösen. Dann kann es sinnvoll sein, sich Verbündete zu suchen. Wie das geht, erfährst du in unserem interaktiven Online-Kurs:

Wer braucht was? – Zielgruppen definieren für soziale Projekte

Zielgruppen sind Einzelpersonen oder Gruppen (Familien, Teams, Organisationen), die zumeist in geografisch eingegrenzten Bereichen leben (also in Städten, Stadtteilen oder Landkreisen). Bei der Bedarfsanalyse kommt es darauf an, dass du die Zielgruppe deines Projekts so konkret wie möglich beschreibst.

Die Kunst besteht darin, die Zielgruppendefinition nicht so weit zu fassen, dass es Ihnen schwerfällt, ein passgenaues Projekt aufzusetzen – gleichzeitig darf sie aber auch nicht so eng geraten, dass die Beschreibung auf kaum jemanden zutrifft.

Viele Projekte setzen auf unterschiedlichen Ebenen an und haben dadurch mehr als nur eine Zielgruppe – etwa ein Projekt, das sich um vernachlässigte Kinder kümmert und parallel Lobbyarbeit für Kinderrechte betreibt.

Bei der Beschreibung der Zielgruppe helfen folgende Fragen:

• Wer sind die Mitglieder der Zielgruppe? Wie alt sind sie?
• Aus welchem Einzugsgebiet kommen sie (Stadtteil, Landkreis)?
• Wie ist ihre soziale Situation, wie die familiäre, wie ihr Bildungsstatus? Gibt es einen Migrationshintergrund?
• Wie ist ihre finanzielle Situation? Welchen Problemen sieht sich die Zielgruppe gegenüber? Wo liegen ihre Potenziale und Stärken?

Situations- und Bedarfsbeschreibungen betonen häufig die Probleme und Defizite der Zielgruppen. Das ist naheliegend, weil es darum geht, Not zu lindern. Genauso wichtig ist aber auch, positive Aspekte zu berücksichtigen. Frage dich daher:

• Welche Entwicklungsmöglichkeiten besitzt die Zielgruppe?
• Welche Stärken, Talente und Ressourcen bringt sie mit?
• Was wünscht und erhofft sich die die Zielgruppe?

Bei der Zielgruppenbeschreibung ist es sinnvoll, zwischen den direkten und indirekten Zielgruppen zu unterscheiden.

• Zur direkten Zielgruppe gehören diejenigen Personen, auf die Sie unmittelbar mit Ihren Projektaktivitäten abzielen und bei denen Sie eine Wirkung erreichen möchten. Innerhalb der direkten Zielgruppen kann es Unterzielgruppen geben, die eine weitere Ausdifferenzierung Ihres Angebots notwendig machen.

In einem Projekt, dessen direkte Zielgruppe benachteiligte Kinder sind, könnten diejenigen Kinder eine Unterzielgruppe darstellen, die weitergehende, spezielle Förderbedarfe aufweisen.

• Die indirekte Zielgruppe sind Personen im Umfeld der direkten Zielgruppe. Sie tragen häufig zum Projekterfolg bei der direkten Zielgruppe bei. Weil sie eine wichtige Mittlerfunktion einnehmen, sollten indirekte Zielgruppen stets mitberücksichtigt werden.

In einem Patenprojekt etwa gehören Kinder zur direkten Zielgruppe, deren Eltern zur indirekten Zielgruppe.

Falls du noch tiefer in die Materie einsteigen möchtest, empfehlen wir unsere interaktiven Online-Selbstlernkurse:

Stakeholder ermitteln: Sind alle Interessen und Erwartungen berücksichtigt?

Für eine erfolgreiche Umsetzung deines Projekts ist entscheidend, dass du alle Stakeholder – also alle relevanten Einflussgruppen, Institutionen oder Personen – von Beginn an einbeziehst.

Mithilfe einer Stakeholderanalyse kannst du herausfinden …

• wer die relevanten internen und externen Stakeholder deines Projekts sind,
• welche Erwartungen, Hoffnungen oder Befürchtungen diese haben, und
• inwiefern sie das Projekt positiv oder negativ beeinflussen können.

Interne Stakeholder sind die Zielgruppen, an die sich das Projekt wendet, die Projektleitung sowie die Projektmitarbeitenden.

Externe Stakeholder sind Geldgebende, politische Entscheidungsträger*innen, Vertreter*innen der öffentlichen Verwaltung, andere Organisationen, Personen, die von dem Projekt indirekt betroffen sind, Bürgerinitiativen, Vertreter*innen von Interessengruppen und Betroffenenvereinigungen.

Stakeholderanalyse bei PAFF:

Direkte Zielgruppe bei PAFF sind Jugendliche auf ihrem Weg in die Ausbildung. PAFF wendet sich dabei gezielt an die Hauptschüler*innen im Stadtteil, bei denen davon auszugehen ist, dass sie ohne individuelle Unterstützung erwerblos bleiben. Bei der Bedarfserhebung wurden Lehrer*innen sowie die Jugendlichen selbst befragt.

Die meisten Jugendlichen stammen aus bildungsfernen Familien, viele von ihnen haben einen Migrationshintergrund. PAFF hat sich deshalb dafür entschieden, SchülerInnen bereits ab dem vorletzten Jahrgang zu betreuen. Denn ein Learning aus dem Vorläuferprojekt war, dass das letzte Schuljahr zu kurz ist, um den individuellen Bedarfen gerecht zu werden.

Wichtig für den Projekterfolg von PAFF ist, dass die Bedarfsanalyse für jeden Teilnehmenden individuell erfolgt. Das geschieht in Einzelgesprächen und per Fragebogen.

Gleichzeitig recherchiert PAFF, wie sich die Bedarfe der Schüler*innen über die Jahre verändert haben. Die Auswertung ergibt, dass seit drei Jahren verstärkt Nachhilfe im Fach Deutsch nötig ist.

Bereits kurz nach Projektstart zeigt sich, dass PAFF eine ungleich höhere Wirkung erzielt, wenn die Eltern der Jugendlichen deren Projektteilnahme unterstützen. Die Eltern sind damit als indirekte Zielgruppe identifiziert, und es werden verschiedene Maßnahmen konzipiert, um sie aktiv und dauerhaft einzubinden.

Ursachen und Auswirkungen des Problems verstehen

In den meisten Fällen sind soziale Probleme so vielschichtig, dass sich ein Projekt auch nur mit der Lösung eines Teilaspektes beschäftigen kann. Und dennoch ist es für die wirkungsorientierte Steuerung eines Projekts wichtig, das Problem in seiner ganzen Komplexität zu erfassen und den Einfluss einzelner Faktoren zu berücksichtigen.

So wird etwa der Erfolg eines Projekts, das Jugendliche auf dem Weg in die Ausbildung begleitet, entscheidend davon abhängen, ob es in der Region überhaupt ausreichend Ausbildungsplätze gibt.

Ein nützliches Werkzeug zur Analyse eines Problems mit all seinen Ursachen, Auswirkungen und Faktoren ist der Problembaum. Der Problembaum ergibt sich aus den Daten, die du bei der Bedarfs- und Umfeldanalyse gesammelt hast.

Der Zeitbedarf, um den Problembaum zu erstellen, liegt bei einigen Stunden bis zu einem Tag. In die Erstellung solltest du alle relevanten internen und externen relevanten Stakeholder einbeziehen.

Schritt 1: Kernproblem definieren

Im ersten Schritt benennst du das Kernproblem, zu dessen Lösung du beitragen möchtest. Beschreibe dieses so spezifisch wie möglich. Das Kernproblem sollte aus Sicht der Zielgruppe formuliert sein und eine negative Aussage treffen.

“Hohe Arbeitslosigkeit bei jungen Menschen”, ist zwar wie gewünscht negativ, aber zu unspezifisch. Deutlich besser ist: “Jugendliche finden nach ihrem Schulabschluss keinen Ausbildungsplatz”. Die Aussage grenzt die Zielgruppe ein und benennt einen konkreten Zeitraum, in dem das Projekt ansetzt (nämlich zwischen letztem Schuljahr und Beginn der Ausbildung).

Schritt 2: Ursachen und Auswirkungen identifizieren

Im zweiten Schritt erarbeitest du die Ursachen und Auswirkungen des Kernproblems. Dabei werden die einzelnen Ursachen und Auswirkungen als negative Aussagen formuliert: “Jugendliche haben keine ausreichenden Sozialkompetenzen”, “wenig Ausbildungsplätze in der Region”, “Perspektivlosigkeit”, “hohe Gewaltbereitschaft”.

Die direkten Ursachen des Kernproblems werden in der Zeile unterhalb des Kernproblems festgehalten, darunter die Ursachen der Ursachen angeheftet. Oberhalb des Kernproblems finden die direkten Auswirkungen Platz, die Auswirkungen der Auswirkungen werden in der Reihe darüber eingetragen. Und so weiter. Der Problembaum verzweigt sich nach oben und unten.

Sofern Zusammenhänge zwischen den Ursachen bzw. Auswirkungen existieren, werden diese mittels Querverbindungen abgebildet. Lücken werden mittels Platzhalter gekennzeichnet, die du gegebenenfalls später füllst.

Mithilfe der folgenden Checkliste kannst du überprüfen, ob du die zentralen Fragen zum Umfeld und zu den Bedarfen beantwortet hast:

Checkliste: Alles Wesentliche erfasst?

• Ist das Problem klar definiert?
• Ist deutlich, worin die Ursachen des Problems liegen?
• Ist geklärt, welche Auswirkungen das Problem hat?
• Sind Umfang und das Ausmaß des Problems hinreichend klar?
• Ist geklärt, wer die Zielgruppe ist?
• Ist die Situation der Zielgruppe vollständig verstanden?
• Sind die Bedarfe der Zielgruppe vollständig verstanden?
• Sind Problem und Bedarfe so gut herausgearbeitet, dass auf dieser Grundlage das Projekt entwickelt werden kann?
• Lassen sich Erfahrungen aus früheren Programmen nutzen?
• Sind Förderlücken identifiziert?

Wirkungsziele setzen: Was genau möchtest du verändern?

Hier erfährst du …

• warum Aktivitäten und Wirkungen nicht dasselbe sind
• dass es verschiedenen Arten von Wirkungszielen gibt.
• wie Wirkungsziele erarbeitet und formuliert werden.
• wie sich aus den Zielen der passende Handlungsansatz ableiten lässt.

Was möchtest du erreichen, insbesondere für die Zielgruppen? Und vor allem: Woran bemerkst du, dass die Arbeit erfolgreich war? Wie stellst du fest, was konkret du bei den Zielgruppen bewirkt hast? Um diese Fragen beantworten zu können, erarbeitest du zunächst die Ziele – Wirkungsziele – deines Projekts.

Hierfür kommen dir die Informationen zupass, die du bei der Bedarfs- und Umfeldanalyse gewonnen hast. Im Anschluss überlegst du, auf welchem Weg sich diese Wirkungsziele erreichen lassen und welche Ressourcen du dafür benötigst.

Die Wirkungsziele und der Weg ergeben zusammen die Wirkungslogik deines Projekts. Die Wirkungslogik bildet ab, wie das Projekt funktioniert und welcher Schritt auf welchen folgt.

Wozu Wirkungsziele dienen

Wirkungsziele sind eminent wichtig für eine wirkungsorientierte Steuerung. Sie helfen dabei …

• Orientierung zu gewinnen: Sind die Ziele so formuliert, dass jede*r weiß, was er oder sie zu tun hat, kannst du das Projekt leichter auf Kurs halten.
• die Wirkungsanalyse zu planen: Ohne Wirkungsziele kein Monitoring und keine Evaluation. Oder positiv: Je konkreter die Wirkungsziele, desto einfacher Monitoring, Evaluation und Wirkungsanalyse.
• die Mitarbeitenden zu motivieren: Wer sich mit den Wirkungszielen identifiziert, weil er sie mitentwickelt hat, bleibt auch bei Laune, wenn das Projekt mal eine Durstrecke durchläuft.
• die Qualität deiner Arbeit zu beweisen: Alle Stakeholder – vor allem die Geldgebende – möchten wissen, was im Projekt passiert und wo das Geld bleibt.
• Mittel zu akquirieren: Präzise formulierte Wirkungsziele, die Begeisterung wecken, können die Ansprache potenzieller Fördernder erleichtern.

Kurzum: Die Wirkungsziele bilden das Fundament für wirkungsorientierte Projektarbeit. Sie allein bestimmen, welche Anstrengungen nötig sind und an welchen Stellen die Ressourcen effektiv eingesetzt werden.

In vielen Fällen scheinen die Ziele eines Projekts so offensichtlich zu sein, dass deswegen ein weiterführender Zielfindungsprozess ausbleibt. Meistens entpuppt sich das später als ein Trugschluss, weil die Ziele eben doch nicht so deutlich sind wie erhofft.

Je weiter fortgeschritten ein Projekt ist, um so problematischer wird es dann. Unter Umständen musst du zurück auf Start. Insofern gilt: Jede Minute, die du in die Ausarbeitung der Wirkungsziele investierst, wird sich hinterher auszahlen!

Ziele regelmäßig prüfen!

Sich mit den Wirkungszielen zu beschäftigen, ist keine einmalige Aufgabe in der Planungsphase, sondern sollte regelmäßig wiederholt werden. Schließlich ändern sich gelegentlich die Bedarfe der Zielgruppen oder auch das Projektumfeld. Wie gut deine Wirkungsziele bereits sind, kannst du auch mithilfe des Wirkometers herausfinden. Es erfragt u.a. Zielorientierung und Angebotsfokussierung.

Was genau sind Wirkungsziele?

Das Wichtigste zu Beginn: Erstens sind Aktivitäten KEINE Wirkungsziele. Zweitens gibt es zwei Ebenen von Wirkungszielen:

• Wirkungsziele auf Ebene der Gesamtgesellschaft (= Impact, Stufe 7).
• Wirkungsziele auf Ebene der Zielgruppen (= Outcomes, in der Wirkungstreppe die Stufen 4-6).

Und was heißt das im Detail?

Aktivitäten sind keine Wirkungsziele

In der Vergangenheit wurden Projekte vor allem daran gemessen, welche Aktivitäten und Leistungen sie anboten. Dabei ging es in erster Linie um Kennzahlen, in zweiter um Messgrößen und in dritter wieder um Kennzahlen. Welche Wirkungen infolge der Aktivitäten erzielt wurden, interessierte selten oder nie.

Diese Fixierung auf Outputs wirkt bis heute nach. Immer noch berichten viele Organisationen hauptsächlich Rumpfdaten: Welche und wie viele Leistungen bietet ein Projekt an? Welche Aktivitäten finden statt und wie viele Teilnehmende gab es?

Es ist richtig und wichtig, diese Daten zu sammeln und zu kommunizieren. Entscheidend ist aber, diese Rumpfinformationen auch mit Leben zu füllen:

• Was wurde mit all den Aktivitäten tatsächlich erreicht?
• Welchen Unterschied macht das Projekt?
• Welche Wirkungen wurden erzielt?

Die durchgeführten Aktivitäten mit den erzielten Wirkungen zu verknüpfen, gehört zum Kerngedanken der wirkungsorientierten Steuerung. Natürlich sind solche Wirkungsinformationen häufig mühsam zu erheben, und die meisten lassen sich weder messen, noch in Zahlen ausdrücken.

Doch Organisationen, die mit ihrer Arbeit wirklich einen Unterschied erzielen wollen, kommen nicht umhin, sich mit ihren Wirkungszielen auseinanderzusetzen. Denn gut formulierte und klar von den Aktivitäten abgegrenzte Wirkungsziele sind die Grundlage für eine wirkungsorientierte Projektsteuerung!

Übrigens: Geldgebende wie Förderstiftungen fragen zunehmend Informationen zu Wirkungszielen und Zielerreichung ab. Es ergibt also schon aus Gründen des Fundraisings Sinn, sich intensiv mit den eigenen Zielen zu beschäftigen.

Wirkungsziele auf zwei Ebenen

Um Wirkungsziele zu definieren, musst du wissen, bei wem du was konkret verändern möchtest:

1. Welche Zielgruppen willst du erreichen?
2. Was genau soll das Projekt bei der Zielgruppe verändern?
3. Zu welchen Zielen auf gesellschaftlicher Ebene soll das Projekt beitragen?

Tipp: Zielgruppen einbinden

Die Wirkungsziele deines Projekts solltest du gemeinsam mit den Zielgruppen erarbeiten. So stellst du sicher, dass deine Ziele tatsächlich realistisch sind.

Die letzte Frage verdeutlicht, dass sich Wirkungsziele auf unterschiedliche Ebenen beziehen können. Unterscheiden lassen sich …

• Wirkungsziele auf Ebene der Zielgruppe und
• Wirkungsziele auf gesellschaftlicher Ebene.

Wirkungsziele auf Ebene der Zielgruppe (Outcomes) beschreiben die erwünschten Wirkungen bei der Zielgruppe. Welchen Nutzen hat das Projekt für die Zielgruppe, und welche Veränderungen soll es auslösen?

Wirkungsziele auf gesellschaftlicher Ebene (Impact) beschreiben die langfristigen Wirkungen, die durch das Projekt erzielt bzw. beeinflusst werden. Die Wirkungsziele auf gesellschaftlicher Ebene sind eng verknüpft mit der Vision der Organisation.

Tipp: Achtung bei Impacts

Entwicklungen auf gesellschaftlicher Ebene werden von vielen Faktoren bestimmt. Ein kausaler Zusammenhang zwischen Projekt und Impact lässt sich häufig nur schwer und oft auch gar nicht nachweisen (zumal sich Impacts meistens auch erst nach erheblicher Zeit einstellen). Projektbezogene Wirkungsziele auf gesellschaftlicher Ebene sollten deswegen zurückhaltend formuliert werden (“Das Projekt trägt dazu bei, dass …”).

Wirkungsziele formulieren – so geht’s

Wirkungsziele auseinander zu halten ist das eine. Das andere ist, sie so zu formulieren, dass sich aus ihnen Wirkungsindikatoren entwickeln lassen. Wirkungsindikatoren – kurz: Indikatoren – sind Anhaltspunkte dafür, ob und inwiefern eine bestimmte Wirkung tatsächlich eingetreten ist. Indikatoren bilden das Fundament für die nachfolgende Wirkungsanalyse; wir kommen später auf sie zu sprechen.

Je konkreter ein bestimmtes Wirkungsziel benannt ist, desto eher lassen sich daraus Indikatoren ableiten. Und je besser die Indikatoren sind, desto erfolgversprechender wird die Wirkungsanalyse verlaufen. Deshalb kommt es darauf an, Wirkungsziele so exakt wie möglich zu benennen.

Und das geht so:

Wirkungsziele auf Ebene der Zielgruppe

Konzentriere dich zunächst auf dein zentrales Wirkungsziel auf Ebene der Zielgruppen. Das zentrale Wirkungsziel ist dasjenige Ziel, auf das du hinarbeitest – also die Veränderung der Lebenslage der Zielgruppen. Die Leitfrage, an der du dich entlang hangeln kannst:

• Wenn das gesellschaftliche Problem, dem du dich widmest, gelöst wäre, wie würde sich dann die Situation für die Zielgruppen darstellen?

Beschreibe mit den Wirkungszielen Folgendes:

• Benenne eingangs die Zielgruppen, bei denen du etwas verändern möchtest.
• Präzisiere den Zeitraum, in dem die Veränderungen eintreten sollen.
• Greife auf Verben zurück, die beschreiben, wie sich infolge der erwünschten Wirkungen die Lebenslage der Zielgruppen verändern wird. – Welche neuen Möglichkeiten haben einzelne Individuen der Zielgruppe danach? Wie ändert sich die soziale Situation der Zielgruppe?
• Vermeide Verneinungen; diese wecken negative Assoziationen. “Jugendliche haben einen Ausbildungsplatz” ist eine bessere Formulierung als “Jugendliche sind nicht arbeitslos”. Ziele, die positiv formuliert sind, motivieren und setzen Energien frei!
• Setze einen Fokus auf das Ergebnis deiner Arbeit: Anstatt “X soll erreicht werden”, formuliere “X liegt vor”.

Für die Formulierung haben sich die SMART-Kriterien als hilfreich erwiesen:

1. Spezifisch: Wirkungsziele müssen klar und eindeutig sein. Versuche daher, die Wirkungsziele so präzise und verständlich wie möglich zu formulieren, sodass sie auch von Dritten verstanden werden können.
2. Akzeptiert: Die Wirkungsziele müssen von den Stakeholdern akzeptiert werden. Das bedeutet, dass ein gemeinsames Verständnis über die Wirkungsziele besteht und dass diese von allen Beteiligten mitgetragen werden.
3. Realistisch: Es muss möglich sein, die Wirkungsziele tatsächlich zu erreichen. Das bedeutet nicht, dass du dir sicher sein musst, die Ziele auf jeden Fall zu erreichen, aber es sollte zumindest im Bereich des Möglichen liegen.
4. Terminierbar: Bei der Zielformulierung ist es in vielen Fällen schwierig, einen festen Zeitpunkt zu definieren, an dem das Ziel erreicht sein muss. Dem Wirkungsziel sollte aber zumindest ein Zeitrahmen zugeordnet werden, bis wann es erreicht sein sollte. Denn ob die Wirkung während des Projekts oder erst viel später eintreten kann, macht z. B. in der Wirkungsanalyse einen wichtigen Unterschied. Ein Zeitrahmen bietet hier Orientierung.

Hierzu auch nochmal das Video aus dem vorletzten Abschnitt:

Wirkungsziele auf gesellschaftlicher Ebene

Wirkungsziele auf gesellschaftlicher Ebene sind stets abstrakter formuliert als die auf Ebene der Zielgruppe. Sie beziehen sich häufig auf die gesamte (!) Gesellschaft oder einen Teil davon, etwa die Bevölkerung in einer bestimmten Region.

Sie lassen sich am besten so nutzen, indem du das gesellschaftliche Problem in eine positive Aussage ummünzt:

• Wenn das Problem beseitigt wäre, wie würde sich die gesamtgesellschaftliche Situation dann darstellen?

Tipp:

Wirkungsziele auf Impact-Ebene solltest du ohne konkretes Datum verfassen, weil sie von zu vielen Faktoren abhängen und ohnehin meist sehr langfristiger Natur sind.

Checkliste für die Formulierung von Wirkungszielen:

• Anstatt allein Aktivitäten & Leistungen aufzulisten, werden diese mit den beabsichtigten Wirkungen verknüpft.
• In der Formulierung des Wirkungsziels wird deutlich, bei wem die erwünschte Wirkung eintreten soll.
• Das Wirkungsziel beschreibt einen erwünschten Zustand in der Zukunft.
• Das Wirkungsziel ist so formuliert, dass man sich die Veränderung konkret vorstellen kann.
• Das Wirkungsziel ist positiv formuliert.
• Es gibt einen Zeitrahmen, innerhalb dessen das Ziel erreicht werden soll.
• Es lässt sich überprüfen, ob das Ziel erreicht werden kann.
• Das Wirkungsziel zu erreichen stellt eine positive, motivierende Herausforderung dar. Es ist realistisch zu erreichen.

Handlungsansatz des Projekts bestimmen

In deiner Projektplanung kommt es nun darauf an, den Weg zu den Wirkungszielen – den Handlungsansatz – zu ermitteln. Der Handlungsansatz ergibt sich u.a. aus …

• der Vision und Mission deiner Organisation,
• den Kompetenzen, die dein Team bereits mitbringt,
• den Ressourcen und Geldern, die dir zur Verfügung stehen,
• der Wahrscheinlichkeit, mit der sich die erhoffte Wirkung auch tatsächlich einstellt.

Um einen passenden Handlungsansatz zu finden, kannst du den Lösungsbaum nutzen. Die Verästelungen des Problembaums zeigen dir verschiedene Wege auf, über die du dein Ziel erreichen kannst.

Nachdem du die Wirkungsziele auf gesellschaftlicher Ebene und auf Ebene der Zielgruppe bestimmt sowie den Handlungsansatz identifiziert hast, gilt es im nächsten Schritt, diese in eine Wirkungslogik zu gießen.

Handlungsansatz unseres Praxisbeispiels PAFF

Im Lösungsbaum ist der Handlungsansatz von PAFF hervorgehoben. PAFF arbeitet direkt mit den Jugendlichen und begleitet sie auf dem Weg in die Ausbildung. Hierfür bietet PAFF verschiedene Coachings an: einmal mit Blick auf bessere schulische Leistungen, einmal in Hinsicht auf grundlegende Sozial- und Bewerbungskompetenzen.

Alternative Handlungsansätze wären die Arbeit mit den Eltern, damit diese ihre Kinder besser unterstützen können, oder eine Kampagne für mehr Lehrstellen in der Region.

PAFF hat sich bewusst für diesen Handlungsansatz entschieden, weil …

– den Projektgründer*innen die direkte Arbeit mit Jugendlichen wichtig ist,
– viele ehemalige Lehrerkräfte als Pat*innen fungieren und hier am besten ihre Kompetenzen einbringen können,
– viele ehemalige Lehrerkräfte als Pat*innen fungieren und hier am besten ihre Kompetenzen einbringen können,
– aus Sicht aller Stakeholder dieser Handlungsansatz die größte Wirkung verspricht.

Nachdem du die Wirkungsziele auf gesellschaftlicher Ebene und auf Ebene der Zielgruppe bestimmt sowie den Handlungsansatz identifiziert hast, gilt es im nächsten Schritt, diese in eine Wirkungslogik zu gießen.

Wirkungslogik erstellen

Hier erfährst du …

• warum eine Wirkungslogik im Projektalltag unverzichtbar ist.
• wie eine Wirkungslogik aufgebaut ist und
• wie du eine Wirkungslogik erstellst.

Du weißt jetzt, wohin die Reise gehen soll. Nun musst du die beste Route finden. Wirkungslogiken helfen dabei, den erfolgversprechendsten und gleichzeitig machbarsten Weg zur Wirkung zu finden. Es gibt viele verschiedene Wirkungslogiken. Wir arbeiten mit der weitverbreiteten Wirkungslogik des Logischen Modells.

Was sind Wirkungslogiken?

Wirkungslogiken (auch: Wirkungsketten) werden seit den 1970er Jahren genutzt. Sie setzen die Wirkungsziele eines Projekts in Beziehung zu den eingesetzten Ressourcen und den erbrachten Leistungen. Wie so eine Wirkungslogik in der Praxis aussehen kann, zeigt das Beispiel der Lernplattform Serlo.org.

Wirkungslogiken bieten viele Vorteile:

• Mithilfe einer Wirkungslogik kannst du zu jedem Zeitpunkt die Wirkungsannahmen des Projekts überprüfen: Lässt sich das Vorhaben tatsächlich realisieren?
• Unter Rückgriff auf eine Wirkungslogik kannst du detaillierte Wirkungsziele für jede einzelne Stufe erarbeiten – solche Etappenziele erleichtern das Projektmanagement.
• Mithilfe der Wirkungslogik identifizierst du die passenden Indikatoren, die du für die Wirkungsanalyse benötigst.
• Und nicht zuletzt hilft eine Wirkungslogik in der Außenkommunikation und beim Fundraising. Wer eine Kausalkette zwischen der eigenen Arbeit und den erzielten Wirkungen bei der Zielgruppe herstellen kann, besitzt unschlagbare Argumente gegenüber potenziellen Unterstützer*innen.

Für die Erstellung einer Wirkungslogik eignet sich der Social Reporting Standard (SRS), auf den wir später zu sprechen kommen.

Vorsicht vor Begriffsverwirrung!

Bei Wirkungslogiken herrscht eine große Begriffsvielfalt. Auf dieser Website sowie im Kursbuch Wirkung verwenden wir die weit verbreiteten englischen Begriffe Inputs, Outputs, Outcomes und Impacts.

Andere Nachschlagewerke oder auch der Social Reporting Standard nutzen ähnliche Begrifflichkeiten:

Wo geht’s zur Wirkung? – Stufe für Stufe zur Wirkungslogik deines Projekts

Für das Verständnis der Wirkungslogik ist es wichtig, die einzelnen Bestandteile zu kennen und zu wissen, wie diese zusammenhängen. Eine Wirkungslogik als Ganzes kann sich so darstellen wie in der folgenden Abbildung.

Die obige Abbildung entspricht in ihrer Logik der Wirkungstreppe: Jede Stufe baut auf die andere auf. Links sind die Inputs, rechts der Impact. In der Wirkungstreppe wäre der Input ganz unten, der Impact ganz oben. Mithilfe der Wirkungslogik kannst du jederzeit prüfen, ob das Projekt noch wie geplant läuft und ob eine Maßnahme X tatsächlich Sinn ergibt.

Die Wirkungslogik setzt sich aus einzelnen Stufen zusammen. Diese stellen wir nun im Einzelnen vor:

Inputs (Ressourcen)

Die Inputs umfassen alle Mittel, die notwendig sind, um ein Projekt realistisch umsetzen zu können: also die Anzahl der haupt- und ehrenamtlich Mitarbeitenden, deren Arbeitszeit, Gelder, Räumlichkeiten, Ausstattung, etc.

Bei unserem Praxisbeispiel PAFF sind das: 1 Projektleitung (20 Stunden pro Woche), 50 ehrenamtliche PatInnen und 4 Patengruppenbetreuer*innen (pro Person ca. 5 Stunden pro Woche), die finanziellen Mittel, der Raum im Gemeindezentrum, die Materialien für die Nachhilfe und das Bewerbungstraining sowie der Computer, der von der Projektleitung genutzt wird.

Outputs (Leistungen)

Die Angebote und Produkte, die aus dem Projekt entstehen, sind Outputs. Nutzt die Zielgruppe diese Angebote, ist das ebenfalls ein Output. Es lassen sich drei Stufen von Outputs unterscheiden; In der Wirkungslogik sind das die Stufen 1 – 3.

Die Outputs auf Stufe 1 sind die (zählbaren) Angebote und Produkte.

Bei PAFF sind die Outputs auf Stufe 1 die Paten- und Nachhilfestunden, die Bewerbungstrainings und die Praxis-Ratgeber für Berufsanfänger*innen.

Stufe 2 ist erreicht, wenn die Zielgruppe die Angebote (Outputs auf Stufe 1) nutzt.

Bei PAFF sind die Outputs auf Stufe 2 beispielsweise die Anzahl der Jugendlichen, die an den verschiedenen Angeboten teilnehmen.

Die Outputs auf den Stufen 1 und 2 lassen sich mit den eingesetzten Inputs in direkten Zusammenhang bringen, wodurch Aussagen über die effiziente Umsetzung des Projekts möglich werden.

So kann PAFF etwa ermitteln, wie viel Geld das Projekt in jeden einzelnen Jugendlichen investiert.

Die Outputs auf Stufe 3 spiegeln wider, ob die Angebote tatsächlich den Bedarfen der Zielgruppen entsprechen und wie zufrieden diese sind. Die Stufe 3 bildet eine Scharnierfunktion zwischen bloßer Projektteilnahme und der Projektwirkung.

Die Zufriedenheit mit einem Angebot bestimmt maßgeblich, ob dieses auch eine Wirkung bei den Teilnehmenden erzielt. Je begeisterter Teilnehmende ein Angebot nutzen, desto eher wird das zu Erfolgen führen. Gleichwohl gilt: Die Zufriedenheit der Teilnehmenden ist eine notwendige, aber keineswegs hinreichende Bedingung für das Erzielen von Wirkungen.

Outputs und Outcomes bei PAFF

Der Unterschied zwischen Leistungen und Wirkungen am Beispiel PAFF: Die Pat*innen arbeiten sehr engagiert. Sie initiieren und begleiten die Patenschaften, erstellen Infomaterialien und realisieren Nachhilfeangebote und Bewerbungstrainings. Die Jugendlichen aus beiden Hauptschulen sind zufrieden und nutzen die Angebote rege – aber ob und was sie dabei gelernt haben, ist unklar. Von einer Wirkung ließe sich erst sprechen, wenn sich bei den Jugendlichen positive Veränderungen ergeben, die ihnen den Schritt in die Ausbildung erleichtern.

Entscheidend für den Erfolg des Projekts ist der Schritt von den Outputs hin zu den Outcomes und Impacts. Es ist ganz wesentlich, dass Wirkungen auf der Ebene der Zielgruppe erreicht werden, optional auch auf Ebene der Gesellschaft.

Outcomes (Wirkungen auf Ebene der Zielgruppe)

Outcomes sind die Wirkungen auf Ebene der Zielgruppen. Sie verdeutlichen, auf welche positiven Veränderungen bei den Projektteilnehmenden das Projekt hinwirkt. Die Outcomes untergliedern sich dabei in drei Stufen, dargestellt in den Stufen 4 – 6 in der Wirkungslogik:

Stufe 4 weist hin auf Veränderung auf Ebene des Wissens, der Fertigkeiten und der Einstellungen.

Die Wirkungen auf Stufe 5 der Wirkungslogik bauen auf Outcome-Stufe 4 auf und beschreiben die Veränderungen im Verhalten und Handeln.

Die Wirkungen auf Stufe 6 bauen ihrerseits auf den Outcomes auf Stufe 5 auf.

Das veränderte Verhalten bildet die Grundlage dafür, dass sich die Lebenslage der Zielgruppe verbessert, sie also beispielsweise finanziell oder sozial aufsteigt.

Im Beispiel von PAFF sind Outcomes der Stufe 4, dass die Jugendlichen neues Wissen erworben haben und infolgedessen frisch motiviert sind, sich um einen Ausbildungsplatz zu bemühen. Outcomes auf Stufe 5 zeigen sich darin, dass die Jugendlichen ihre neu gewonnenen Kenntnisse ins praktische Handeln übersetzen und sich aktiv bewerben.

Die Outcomes auf Stufe 6 beschreiben, wie sich die Lebenslage der Jugendlichen verändert hat – einige haben einen Ausbildungsplatz ergattert, verfügen über ein Einkommen und sind damit nicht mehr auf Sozialleistungen angewiesen. Im Beispiel von PAFF sind Outcomes der Stufe 4, dass die Jugendlichen neues Wissen erworben haben und infolgedessen frisch motiviert sind, sich um einen Ausbildungsplatz zu bemühen.

Outcomes auf Stufe 5 zeigen sich darin, dass die Jugendlichen ihre neu gewonnenen Kenntnisse ins praktische Handeln übersetzen und sich aktiv bewerben. Die Outcomes auf Stufe 6 beschreiben, wie sich die Lebenslage der Jugendlichen verändert hat – einige haben einen Ausbildungsplatz ergattert, verfügen über ein Einkommen und sind damit nicht mehr auf Sozialleistungen angewiesen.

Wirkungen auf Ebene der Gesellschaft (Impact)

Während sich bei den Outcomes die Wirkungen auf die Zielgruppen des Projekts beziehen, beschreiben die Impacts auf Stufe 7 die erwünschten Veränderungen auf gesellschaftlicher Ebene. Dies sind z.B. Veränderungen der sozialen oder ökonomischen Situation der Gesellschaft. Impacts beziehen sich stets auf einen Teil der Gesellschaft, also etwa die Bevölkerung in einem Stadtteil oder einer Region.

Von einem Impact ließe sich bei PAFF reden, wenn infolge der Patenprojekte die Jugendarbeitslosigkeit im Stadtteil signifikant sänke. Warum ist die Unterteilung in verschiedene Outcomestufen besonders wichtig? Würde PAFF als einziges Erfolgskriterium anlegen, wie viele Jugendliche am Ende tatsächlich einen Job gefunden haben, würde das Projekt sehr wahrscheinlich scheitern. Die Unterteilung hilft, dass nicht nur die großen, sondern auch die vielen kleinen Fortschritte nachvollzogen werden können.

Genug der Theorie! Für deine Projektplanung ist es notwendig, sowohl die Stufen als auch die einzelnen Elemente der Wirkungslogik in einen kausalen Zusammenhang zu bringen. Wie das geht, erfährst du nun.

Wie du die Wirkungslogik deines Projekts erstellst

Das Erstellen einer Wirkungslogik kann in zwei Richtungen erfolgen:

1. von den Impacts (Wirkungen) zu den Inputs (Ressourcen) und
2. von den Inputs (Ressourcen) zu den Impacts (Wirkungen).

Richtig ist, beide Vorgehensweisen zu nutzen.

• Um dein Projekt zu planen, gehst du den ersten Weg, also von den Impacts zu den Inputs – von hinten nach vorn.
• Für den anschließenden Plausibilitätscheck änderst du die Richtung und gehst von den Inputs zu den Impacts – von vorn nach hinten.

Wenn es dir gelingt, beide Richtungen unfallfrei zu Ende zu laufen, besitzt du eine Wirkungslogik.

Schritt 1: Wirkungsorientiert planen – Von den Impacts zu den Inputs

Beim Planungsprozess von den Impacts zu den Inputs erstellst du die Wirkungslogik von rechts nach links. Bei jedem einzelnen Planungsschritt musst du eine Antwort auf die Frage finden: Was muss getan werden bzw. was muss passieren, um die jeweilige Wirkung zu erreichen?

Ausgangspunkt bilden die Wirkungsziele auf gesellschaftlicher Ebene (Stufe 7) und die Wirkungsziele hinsichtlich der Lebenslage der Zielgruppe (Stufe 6). Beide hast du mithilfe des Lösungsbaums identifiziert.

Bezogen auf die einzelnen Schritte heißt das:

• 1. Was muss passieren, um die Situation auf gesellschaftlicher Ebene zu verbessern?Antwort: Die Lebenslage der einzelnen Individuen der Zielgruppen muss sich verändern.

PAFF: Was muss passieren, damit sich die Jugendarbeitslosigkeit im Stadtteil verringert? – Die Jugendlichen müssen u.a. einen Ausbildungsplatz finden.

• 2. Was muss passieren, damit sich an der Lebenslage der einzelnen Individuen der Zielgruppe etwas verändert?
  Antwort: Es muss sich etwas am Verhalten bzw. Handeln der einzelnen Individuen der Zielgruppe ändern.

PAFF: Was muss passieren, damit die Jugendlichen einen Ausbildungsplatz finden? – Die Jugendlichen müssen u.a. qualitativ hochwertige Bewerbungsunterlagen erstellen.

• 3. Was muss passieren, damit sich am Verhalten/Handeln der einzelnen Individuen der Zielgruppe etwas verändert?
  Antwort: Es muss sich etwas am Wissen bzw. an den Einstellungen der einzelnen Individuen der Zielgruppe ändern.

PAFF: Was muss passieren, damit die Jugendlichen qualitativ hochwertige Bewerbungsunterlagen erstellen? – Sie müssen wissen, wie man diese erstellt.

• 4. Was muss passieren, damit sich etwas am Wissen bzw. an den Einstellungen der Individuen aus der Zielgruppe ändert?
  Antwort: Die Teilnehmer*innen müssen mit dem Angebot zufrieden sein.

PAFF: Was muss passieren, damit die Jugendlichen wissen, wie man Bewerbungsunterlagen erstellt? – Sie müssen mit dem Bewerbungstraining, an dem sie teilgenommen haben, zufrieden sein.

• 5. Was ist die Voraussetzung dafür, dass die Mitglieder der Zielgruppe mit dem Angebot zufrieden sind?
  Antwort: Sie müssen das Angebot nutzen.

PAFF: Was ist die Voraussetzung dafür, dass die Jugendlichen mit dem Bewerbungstraining zufrieden sind? – Sie müssen an dem Bewerbungstraining teilnehmen.

• 6. Was ist die Voraussetzung dafür, dass das Angebot genutzt werden kann?
  Antwort: Das Angebot muss zur Verfügung stehen.

PAFF: Was ist die Voraussetzung dafür, dass die Jugendlichen am Bewerbungstraining teilnehmen können? – Das Training muss angeboten werden.

• 7. Was sind die Voraussetzungen dafür, dass das Angebot zur Verfügung steht?
  Antwort: Es müssen ausreichend Ressourcen vorhanden sein, um die Leistungen anbieten zu können.

PAFF: Was sind die Voraussetzungen dafür, dass das Training angeboten werden kann? – Es müssen die notwendigen finanziellen und personellen Ressourcen dafür zur Verfügung stehen.

Schritt 2: Plausibilitätscheck – von den Inputs zu den Impacts

Beim Plausibilitätscheck wird die Wirkungslogik auf ihre Schlüssigkeit geprüft. Dazu gehen Sie die Abfolge von von links nach rechts durch. Schwerpunkt bilden die zwischen den einzelnen Schritten bestehenden Wenn-dann-Zusammenhänge.

1. Wenn die notwendigen Ressourcen (Inputs) zur Verfügung stehen, dann können die geplanten Aktivitäten starten und die Angebote erstellt werden (Stufe 1).
2. Wenn die Angebote und Produkte zur Verfügung stehen, dann können sie von der Zielgruppe genutzt werden (Stufe 2).
3. Wenn die Angebote und Produkte genutzt werden, dann ist damit die Voraussetzung geschaffen, dass die Teilnehmenden zufrieden sind (Stufe 3).
4. Wenn die die Teilnehmenden mit dem Angebot zufrieden sind, dann ist die Voraussetzung geschaffen, dass sich dadurch die erwünschten Veränderungen im Wissen und in den Einstellungen der Zielgruppe ergeben (Stufe 4).
5. Wenn sich in der Zielgruppe die erwünschten Veränderungen im Wissen und bei den Einstellungen ergeben, dann eröffnet das die Möglichkeit, dass sie anders handelt (Stufe 5).
6. Wenn die Zielgruppe anders handelt, dann kann sich ihre Lebenslage ändern (Stufe 6).
7. Wenn sich die Lebenslage der Teilnehmenden ändert, dann trägt dies dazu bei, dass sich Veränderungen auf gesellschaftlicher Ebene ergeben (Stufe 7).

Checkliste für die Wirkungslogik:

• Verfügt die Organisation über die notwendigen Ressourcen, um die Aktivitäten umzusetzen, die zur erwünschten Wirkung führen?
• Sind alle Outputs, die für den Erfolg des Projekts notwendig sind, berücksichtigt?
• Sind Outputs, Outcomes und Impacts klar voneinander unterschieden?
• Sind auf Ebene der Outcomes die einzelnen Stufen der Veränderungen ausdifferenziert (Outcomes Stufen 1-3)?
• Sind die Bestandteile der Wirkungslogik logisch verbunden?
• Sind die Wirkungsziele auf Outcome- und Impact-Ebene so formuliert, dass sie auf eine Veränderung hinzielen?
• Wurden die relevanten Stakeholder eingebunden?

Der (nie endende) Wirkungskreislauf

Wie die einzelnen Bestandteile der Wirkungslogik zusammenhängen, verdeutlicht der Wirkungskreislauf:

Der Kreislauf beginnt links oben und verläuft entgegengesetzt zum Uhrzeigersinn.

• Aus den gesellschaftlichen Herausforderungen (links oben) und den daraus abgeleiteten Bedarfen der Zielgruppen werden die Wirkungsziele und ein Handlungsansatz definiert. Dabei wird natürlich die Vision der Organisation berücksichtigt.
• Um die Wirkungsziele erreichen zu können, müssen bestimmte Inputs zur Verfügung stehen bzw. geleistet werden.
• Aus diesen Inputs entstehen Outputs.
• Werden die Outputs von der Zielgruppe genutzt, können sich daraus Outcomes ergeben.
• Die Outcomes ihrerseits können im nächsten Schritt zu einem Impact beitragen.
• Aus der sich nun veränderten gesellschaftlichen Situation ergeben sich neue Bedarfe und neue Ziele, auf die die Organisation mit neuen Angeboten reagiert.

Kurz: Der Kreislauf endet nie. Er beginnt immer wieder von vorn.

2. Wirkung analysieren

Trotz festgelegter Route verlaufen die wenigsten Reisen nach Plan. Deshalb solltest du regelmäßig prüfen, ob du dich noch auf dem richtigen Weg befindest und ob es allen Beteiligten gut geht. Das gilt auch für die Projektarbeit. Bist du noch auf Kurs? Läuft das Projekt wie erhofft? Was hast du bisher erreicht? An welchen Stellen hakt es? Mithilfe der Wirkungsanalyse ermittelst du die notwendigen Informationen, um all das mit Bestimmtheit sagen zu können.

Vorbereitung

In diesem Kapitel erfährst du …

• wie du deine Wirkungsanalyse vorbereitest.
• wie du Indikatoren entwickelst.
• wie du Daten für die Wirkungsanalyse erhebst.
• wie du daraus die richtigen Schlüsse ziehst.

Wirkungsanalyse meint das Erfassen, Untersuchen und Bewerten aller erwarteten und unerwarteten Wirkungen eines Projekts. Im Projektalltag bedeutet Wirkungsanalyse, dass du …

• regelmäßig Daten erhebst,
• diese Daten auswertest und
• auf die Erkenntnisse aus diesen Daten reagierst.

Die Wirkungsanalyse ermöglicht somit eine aktive Steuerung des Projekts. Du kannst nämlich …

• zeitnah auf Abweichungen reagieren und
• genauere Aussagen darüber treffen, welche Änderungen im Projekt zu welchen Konsequenzen führen.

Zwei Instrumente der Wirkungsanalyse sind Monitoring und Evaluation. Auf diese gehen wir im Folgenden näher ein. Im Idealfall wird die Wirkungsanalyse bereits während der Planungsphase des Projekts mitgedacht. Aber auch in laufenden Projekten ist ein Start jederzeit möglich – denn lieber spät als nie!

Keine Angst vor Wirkungsanalyse!

“Wirkungsanalyse” klingt bedrohlich – nach Zahlenkolonnen, großer Wissenschaft und unendlich viel Aufwand. Diese Sorge ist unbegründet. Wirkungsanalyse ist nur so aufwendig, wie du es wünschst oder die Ressourcen es zulassen. Entscheidender als das Budget ist die Einsicht, dass Daten, die während des Projekts erhoben werden, extrem dienlich sind, um aus ihnen zu lernen und das Projekt anzupassen.

Wirkungsanalyse, Monitoring, Evaluation

Bevor es ins Dickicht der Wirkung geht, möchten wir einige zentrale Begriffe erläutern: Wirkungsanalyse, Monitoring und Evaluation.

Wirkungsanalyse

Der Begriff Wirkungsanalyse lässt sich in einem engeren und in einem weiteren Sinne verstehen.

• Wirkungsanalyse im engeren Sinne heißt, dass ausschließlich die Wirkungen eines Projekts betrachtet werden – also Outcomes und Impact. Bei dieser ergebnisorientierten Betrachtung bleibt allerdings völlig unklar, wodurch diese Wirkungen erzielt wurden und welche Maßnahmen dazu maßgeblich beitrugen (und welche nicht).
• Insofern möchten wir dich für eine Wirkungsanalyse in einem weitergefassten Sinn begeistern, die neben den Wirkungen (Outcomes und Impact) auch die erbrachten Leistungen (Outputs) und deren Qualität hinterfragt sowie die grundlegenden Wirkungsannahmen betrachtet, auf denen das Projekt fußt.

Wirkungsmessung?

Oft wird auch der Begriff Wirkungsmessung genutzt. Der Begriff suggeriert, dass sich Wirkungen exakt messen lassen. Das Gegenteil ist der Fall. Wirkungen sind in der Realität komplex und sind keineswegs berechenbar, und schon gar nicht aufs Komma.

Ähnlich, aber doch verschieden: Monitoring und Evaluation

Monitoring heißt, regelmäßig Informationen zu erheben, um die Fortschritte des Projekts zu beobachten und um zu prüfen, ob Qualitätsstandards eingehalten werden.

Das Monitoring eignet sich dafür, Inputs, Outputs und leicht zu erfassende Wirkungen zu dokumentieren. Systematisch betrieben, lässt das Monitoring später auch Aussagen über das gesamte Projekt zu – das kann insbesondere bei solchen Projekten relevant sein, bei denen eine Evaluation aus Gründen nicht möglich ist.

Schwerer zu erfassende Daten werden dagegen meist mittels Evaluationen erhoben. Verraten die im Monitoring gewonnenen Daten, dass ein Projekt nicht wie geplant läuft, lässt sich mittels einer Evaluation feststellen, warum das so ist. Eine Evaluation begutachtet und bewertet Prozesse, Ergebnisse und Wirkungen. Sie kann zu verschiedenen Zeitpunkten des Projekts durchgeführt werden.

Zur besseren Übersicht nochmal im Vergleich:

Evaluationen ersetzen kein Monitoring

In vielen Projekten wird kein regelmäßiges Monitoring betrieben, weil es an Kapazitäten oder Kompetenzen mangelt. In solchen Fällen wird das Projekt schlechterdings genau einmal evaluiert, und zwar nach Projektende.

So wichtig diese Evaluation natürlich ist, möchten wir Sie aber für ein stetes und systematisches Monitoring begeistern! Denn konsequentes Monitoring ist das Frühwarnsystem für unerwartete Entwicklungen – ohne Monitoring können Sie nicht adäquat auf Planabweichungen und Unvorhergesehenes reagieren. Und eine Evaluation bringt Ihnen erst hinterher Gewissheit, die Sie vorher benötigt hätten…

Im Übrigen muss ein regelmäßiges Monitoring keinesfalls aufwändig und teuer sein. Kostengünstige Mittel und Methoden stellen wir im Kapitel “Erhebungsmethoden im Überblick” vor.

Zeitpunkt der Datenerhebung

Bevor du dich ans Datensammeln machst, solltest du dir über zwei Aspekte klar werden:

1. Wann ist der richtige Zeitpunkt, die Daten zu erheben? – Sammelst du fortlaufend? Oder einmalig nach jedem Meilenstein, nach Abschluss einer Maßnahme o.ä.? – Diese Fragen musst du individuell beantworten. Der richtige Zeitpunkt hängt natürlich auch davon ab, ab wann sich Daten überhaupt erheben lassen, also ab welchem Zeitpunkt überhaupt belastbare Informationen vorliegen.
2. Nicht minder ist dein Erkenntnisinteresse: Was genau willst du eigentlich herausfinden und welche Daten helfen dir ganz konkret (und welche helfen Ihnen nicht)?

Auf Ebene der Prozesse und Outputs (Leistungen) kommt es darauf an, dass du zeitnah herausfindest, ob Geld und Zeit noch im Plan liegen. Deswegen solltest du solche Daten regelmäßig erheben – je nach Spielart wöchentlich, monatlich, vierteljährlich. Denn nur so kannst du bei Abweichungen gegensteuern.

Auf Ebene der Wirkungen (Outcomes und Impacts) geht es meist um mittel- und langfristige Resultate. Diese lassen sich im Allgemeinen schwerer feststellen als bspw. Output-Informationen. Allerdings gibt es auch auf dieser Ebene Informationen, die du vergleichsweise leicht und regelmäßig erheben kannst, wie etwa die Veränderung von Schulnoten.

Kontinuierlich anstatt punktuell

Ganz wichtig: Egal, welche Daten du ermittelst – die Wirkungsanalyse ist ein kontinuierlicher Prozess. Das heißt, es genügt nicht, Daten erst zum Projektende hin zu erheben. Sie können dann nämlich weder aus diesen Daten lernen noch adäquat gegensteuern.

Wann du evaluierst, hängt vom Einzelfall ab. Die Evaluation zu Beginn des Projekts dient der Bedarfs- und Umfeldanalyse. Du kannst so die Bedarfe der Zielgruppe erfragen, diese mit den Projektzielen abgleichen und prüfen, ob die geplante Vorgehensweise tatsächlich die richtige ist.

(Ab-)Schlussevaluationen werden, wie es der Name schon sagt, am Ende eines Projekts durchgeführt. Hierbei wird oft, aber nicht immer, das gesamte Projekt bewertet.

Natürlich ist es sinnvoll, nach Projektabschluss Bilanz zu ziehen. Doch abgesehen von Abschlussberichten an Geldgebende hat eine Evaluation am Ende des Projekts oft wenig Nutzen. Denn wenn die Ergebnisse endlich vorliegen, sind Mitarbeitende meistens längst mit anderen Projekten beschäftigt.

Außerdem ist es im Nachhinein nicht mehr möglich, auf die Erkenntnisse der Evaluation zu reagieren. Wenn sich also mittendrin die Möglichkeit einer Zwischenevaluation bietet – dann nutze sie!

Bei Projekten, die kein geplantes Ende haben, solltest du von selbst Zeitpunkte identifizieren, an denen du eine umfassende Auswertung vornimmst – etwa, wenn du ein neues Projektmodul entwickelst oder das Projekt an andere Orte verbreiten möchtest.

Eine Ex-Post-Evaluation findet einige Zeit nach Abschluss des Projekts statt. Sie hat zum Ziel, herauszufinden, welche Wirkungen ein Projekt auch über sein Ende hinaus entfaltet. Ein Beispiel für eine Ex-Post-Evaluation wäre eine Verbleibstudie, die ermittelt, was aus den Projektabsolvent*innen wurde.

Ganz unabhängig vom Zeitpunkt solltest du über eine Evaluation nachdenken, wenn die Monitoringdaten auf signifikante Abweichungen gegenüber deiner Planung hinweisen. (Dazu mehr im Kapitel “Indikatoren entwickeln: Vom IST zum SOLL”)

Wirkungsanalyse bei PAFF

PAFF erhebt systematisch Daten. Vor allem werden die erbrachten Leistungen dokumentiert, wie etwa die Anzahl der Nachhilfestunden. Auf Ebene der Wirkungen werden die Veränderungen bei den Schulnoten festgehalten. Um festzustellen, wie sich die Projektteilnahme auf das Sozialverhalten der Jugendlichen auswirkt, wird nach zweieinhalb Jahren evaluiert. Die Resultate helfen, das laufende Projekt weiterzuentwickeln und das Folgeprojekt von vornherein optimal aufzusetzen.

Evaluation: Selbst machen oder auslagern?

Das Monitoring sollte stets intern erfolgen. Die Evaluation hingegen kann sowohl intern als auch durch externe Fachkräfte realisiert werden. Ob du es selbst übernimmst oder jemand Außenstehendes die Daten auswertet, hängt davon ab,

• ob du projektintern die erforderlichen Kompetenzen besitzt,
• wie komplex der zu ermittelnde Sachverhalt ist und
• welches Budget dir zur Verfügung steht.

Qualifikationen

Ein*e Evaluator*in sollte folgende Qualifikationen mitbringen:

– Erfahrung mit Evaluationen im Themengebiet
– gutes Methodenwissen und ein hohes Qualitätsbewusstsein
– Kommunikationsfähigkeit & Integrität
– Sensibilität im Umgang mit der Zielgruppe

Für eine interne Evaluation spricht, dass sie im Vergleich zu einer externen Evaluation günstiger ist. Zudem geht es bei der Wirkungsanalyse vor allem darum, aus den Erkenntnissen zu lernen, und das kannst du nur bis zu einem gewissen Grad nach außen abgeben.

Ein weiterer Pluspunkt besteht darin, dass die Mitarbeitenden schneller an relevante Informationen gelangen und mehr Sachkunde über das zu beurteilende Projekt besitzen – was allerdings problematisch werden kann, wenn diese Sachkunde in Betriebsblindheit ausartet oder persönliche Beziehungen zu einer Befangenheit führen. All das setzt natürlich voraus, dass du projektintern über die nötigen Kompetenzen verfügst, um eine qualifizierte Evaluation vornehmen zu können.

Eine Evaluation durch eine externe Fachkraft hat den Vorteil, dass sie in den meisten Fällen fachlich und methodisch sauberer ist, strukturierter umgesetzt wird (und eben nicht so nebenbei) und einen objektiven, überparteilichen Blick einbringt.

Nachteilig sind die höheren Kosten, die eine externe Evaluation verursacht. Außerdem kann es passieren, dass der Evaluator nicht an alle relevanten Informationen gelangt oder diese nicht einordnen kann – und damit dem Projekt kaum gerecht wird. Die Vor- und Nachteile im Überblick:  

Eine Lösung für dieses Dilemma könnte in einer Mischform aus interner und externer Evaluation bestehen. Projektmitarbeitende arbeiten Hand in Hand mit einer/einem externen Evaluatoren/in, der/die Expertise und den Blick von außen mitbringt. Die Mitarbeitenden bauen so allmählich Kompetenzen auf, und der/die externe Evaluator*in gewährleistet den neutralen Blick. So kommen die Vorteile aus beiden Ansätzen zusammen – vorausgesetzt, Rollen und Zuständigkeiten sind klar geregelt.

Unabhängig davon, ob es auf eine interne oder eine externe Evaluation hinausläuft: Innerhalb des Projektteams sollte klar sein, wer für die Wirkungsanalyse bzw. deren Koordination verantwortlich ist; bei dieser Person sollten alle Fäden zusammenlaufen.

So macht’s PAFF

Bei PAFF tragen die Patengruppenbetreuer*innen alle relevanten Informationen von den Pat*innen, Schüler*innen und Lehrkräften zusammen. Die Projektleitung bereitet die Daten auf und wertet sie aus. Die Evaluation übernimmt eine Professorin vom Pädagogik-Lehrstuhl der Universität.

Wen du einbeziehen solltest

Grundsätzlich gilt: Wirkungsorientierte Projektsteuerung ist zum Scheitern verurteilt, wenn sie nicht von der Organisations- bzw. Projektleitung mitgetragen und gefördert wird.

Neben Ressourcen braucht es festgelegte Prozesse und Verantwortlichkeiten. Idealerweise laufen die Fäden an einem Ort bzw. bei einer Person zusammen. Das sollte allerdings nicht dazu führen, dass sich alle anderen nicht mehr um die Wirkungsanalyse kümmern. Sinn und Zweck einer Evaluation ist, gemeinsam aus den Ergebnissen zu lernen – deshalb sollten auch alle Mitarbeitenden einbezogen sein! Nicht fortwährend, aber eben doch regelmäßig.

Ebenfalls zu berücksichtigen sind die Stakeholder des Projekts. (Welche das sind, hattest du bereits während der Projektplanung ermittelt.) Indem du deine Stakeholder einbeziehst, stellst du die Ergebnisqualität sicher, legitimierst das Vorgehen und beugst etwaigen Widerständen vor.

Rolle der Stakeholder klären

Bevor du deine Anspruchsgruppen einbindest, sollten du ermitteln, warum du das eigentlich tust:

• Welche Rolle spielen die Stakeholder bei der Wirkungsanalyse?
• Welche Informationen aus der Wirkungsanalyse sind für sie relevant?
• Können sie unterstützen, beeinflussen, bremsen, verhindern? Haben sie besondere Hoffnungen, Interessen oder Befürchtungen hinsichtlich der Datenerhebung oder bestimmter Fragen?
• Ergeben sich daraus Konsequenzen für die Erhebung? Müssen zum Beispiel andere Beteiligungsformen gewählt werden?

Was kostet eine Evaluation?

Natürlich stellt sich die Frage: Wie viel kosten Monitoring & Evaluation, und woher kommt das Geld dafür? Erfahrungsgemäß kostet eine angemessene Wirkungsanalyse zwischen drei bis zehn Prozent des Projektbudgets. Größte Posten sind die Personalkosten; hinzu kommen Druckkosten für den Evaluationsbericht, Kosten für die Kommunikation der Ergebnisse und eventuell Reisekosten.

Drei bis zehn Prozent sind ein sehr theoretischer Wert – denn in der Realität sind meistens überhaupt keine Mittel eingeplant (was häufig daran liegt, dass viele Mittelgebende noch zu wenig Interesse an Wirkungszusammenhängen haben). Ohne Budget wird es natürlich schwer, überhaupt irgendetwas zu erheben; aber wenn es dir gelingt, ein paar Mittel loszueisen, wäre das immerhin ein Anfang. Es gibt durchaus günstige Methoden der Datenerhebung und -auswertung, auf diese kommen wir später zu sprechen.

Generell gilt: Bei einem schmalen Budget ist es sinnvoll, lieber einen kleinen, dafür aber relevanten Teil des Projekts zu evaluieren, als gänzlich darauf zu verzichten.

Idealerweise tauscht du dich hierzu frühzeitig mit deine*r Geldgeber*in aus! Zeige auf, welche Kosten anfallen, und überlegt gemeinsam, ob und wie sich diese stemmen lassen oder welche Alternativen es gibt. Dabei geht es nicht nur darum, das Monitoring in die Aufwandsplanung einzupreisen, sondern auch die erforderlichen Mittel für die Auswertung und Diskussion der Daten, denn all das erfordert Aufwände, die meistens unterschätzt werden… – Gut, wenn deine Fördermittelgebenden und du hierüber von Anfang an im Gespräch seid.

So hältst du die Kosten überschaubar

– Sind die zu sammelnden Informationen wirklich (wirklich!) relevant?
– Liegen die Daten vielleicht schon andernorts vor?
– Ist die Stichprobe angemessen oder doch zu groß?
– Gibt es kostengünstigere Erhebungsinstrumente?
– Welche Aufgaben kannst du kostensparend inhouse übernehmen?

Erwartungen zügeln

Mit einer Wirkungsanalyse sind häufig (zu) hohe Erwartungen verbunden: Zum einen wollen die Projektbeteiligten wissen, ob das Projekt die erwünschten Wirkungen zeigt. Zum anderen wünschen auch Geldgebenden Wirkungsnachweise. Deine Erwartungen sollten sich im Wesentlichen daraus speisen, welche Ressourcen dir zur Verfügung stehen und welche Datenerhebungsmethoden du anwendest.

Steht dir nur wenig Geld zur Verfügung, musst du auf preisgünstige, aber wenig aussagekräftige Erhebungsmethoden zurückgreifen, deren Resultate überschaubar sein werden. Entsprechend zurückhaltend sollte sich das Erwartungsmanagement gestalten – dein eigenes ebenso wie das der Geldgebenden.

So macht es PAFF

Bei PAFF erfolgt das Monitoring wesentlich durch die Ehrenamtlichen. Die hauptamtliche Projektleitung trägt die Informationen zusammen und bereitet sie auf. Evaluiert wird das Projekt durch eine Professorin des Pädagogik-Lehrstuhls der lokalen Uni. Die geplante Verbleibstudie hingegen wird von einer externen Evaluatorin durchgeführt. Die Kosten hierfür trägt die Förderstiftung, durch die PAFF hauptsächlich finanziert wird.

Welche Daten sind relevant?

Nach dem logistischen Teil geht es nun um die Inhalte. Die zentrale Frage ist: Was genau willst du mithilfe der Wirkungsanalyse eigentlich herausfinden? Deine Antwort auf diese Frage ist insofern wichtig, weil sie allein bestimmt, welcher Aufwand nötig ist. Je konkreter du weißt, welche Arten von Informationen du benötigst, desto genauer kannst du planen (und umso weniger groß erscheint die Aufgabe).

• Welche Informationen brauchst du für deine Berichte und die Kommunikation?
• Welche, um Prozesse beurteilen und lernen zu können?
• Welche, um Verbesserungen anzustoßen oder Wirkungen festzustellen?

Prozesse und Wirkungen zusammen denken!

Während sich früher Evaluation und Berichterstattung eher auf die Projektaktivitäten und den Prozess konzentrierten, wird heute verstärkt darauf geachtet, welche Wirkung ein Projekt erzielt.

Im Sinne einer wirkungsorientierten Projektumsetzung ist es wichtig, beide Ebenen zu betrachten, also sowohl die Prozess- als auch die Wirkungsebene. Denn schließlich möchten Sie herausfinden, welche konkrete Wirkung das Projekt erzielt, aber auch welche Teile des Projekts besonders wirksam dazu beitrugen oder an welchen Stellen es Hindernisse gab.

Erarbeite die Fragen deiner Wirkungsanalyse mit Blick auf die Wirkungslogik – so kannst du besser strukturieren und priorisieren. Bedenke dabei bitte, dass auch Effekte eintreten können, die nicht geplant waren. Frage deshalb auch:

• Welche Zielgruppen haben wir nicht erreicht?
• Welche Ziele wurden haben wir verfehlt?
• Welche unerwarteten positiven Wirkungen sind aufgetreten?
• Gab es negative Wirkungen?

Übrigens: Die Fragen, die du dir zum Projektstart stellst, werden andere sein als mittendrin oder gar am Ende. Es kommt also darauf an, die Leitfragen der Wirkungsanalyse regelmäßig zu überprüfen. Um eine höhere Akzeptanz zu schaffen, ist es empfehlenswert, alle relevanten Stakeholder einzubeziehen, also auch externe Dritte.

Indikatoren entwickeln

In diesem Artikel erfährst du …

• was Indikatoren sind und wozu man sie braucht.
• welche Arten von Indikatoren es gibt.
• was gute Indikatoren ausmacht und wie man sie findet.

Auch in deiner Projektarbeit kommt es darauf an, dass du kontinuierlich Anhaltspunkte und Hinweise dafür sammelst, ob du noch auf Kurs bist und die gesteckten Ziele erreichbar sind. Diese Anhaltspunkte und Hinweise nennen sich: Indikatoren.

Anhand von Indikatoren lässt sich feststellen, ob ein bestimmter Sachverhalt oder ein bestimmtes Ereignis eingetreten ist. Indikatoren geben Aufschluss darüber, welche Fortschritte ein Projekt macht und ob es wie geplant verläuft.

In der Planungsphase werden Indikatoren zur Beschreibung der Situation und der Bedarfe genutzt. Es ist wichtig, dass die Indikatoren (so weit wie möglich) bereits während der Planung festgelegt werden:

• Welche Wirkungsziele wollen und können wir regelmäßig beobachten?
• Woran stellen wir den Fortschritt und schließlich die Wirkung unseres Projekts fest?

Bei der Projektumsetzung sind Indikatoren ein wichtiges Instrument der Fortschrittskontrolle, des Lernens und der Steuerung. Mit ihrer Hilfe lässt sich feststellen, ob das Projekt seine Ziele entlang der Stufen der Wirkungslogik erreicht. Die regelmäßige Beobachtung der Indikatoren ist daher die Voraussetzung für die wirkungsorientierte Steuerung.

Bei der abschließenden Betrachtung eines Projekts bilden Indikatoren die Grundlage, um das Erreichte analysieren und bewerten zu können. Indikatoren helfen, die Projektergebnisse mit der Situation zum Projektstart zu vergleichen.

Noch viel mehr Indikatorenwissen findest du in unseren interaktiven Online-Selbstlernkursen:

Arten von Indikatoren

Es gibt direkte und indirekte Indikatoren:

Direkte Indikatoren lassen sich vor allem für zählbare Sachverhalte wie Outputs und leicht messbare Wirkungen formulieren. Direkte Indikatoren ergeben sich oft unmittelbar aus den Wirkungszielen.

Angenommen, eines einer Wirkungsziele besteht darin, dass Jugendliche durch die Teilnahme an deinem Projekt einen Ausbildungsplatz bekommen. Woran würdest du nun erkennen, ob das Projekt diese Wirkung erreicht? So simpel es auch scheint, aber der richtige Indikator wäre tatsächlich die “Anzahl der Jugendlichen, die nach Teilnahme an deinem Projekt einen Ausbildungsplatz bekommen haben”.

Doch nicht immer liegen Indikatoren unmittelbar auf der Hand, sondern ergeben sich erst nach längerem Herumdenken (was dazu führt, dass viele Sachverhalte auf den ersten Blick nicht überprüfbar erscheinen). In diesen Fällen kommen indirekte Indikatoren zum Einsatz.

Indirekte Indikatoren weisen nur mittelbar auf den zu beobachtenden Sachverhalt hin. Sie werden genutzt, wenn es nicht oder nur mit unvertretbar hohem Aufwand möglich ist, Daten zum Sachverhalt zu erheben.

Indikatoren ableiten

Ein klassisches Beispiel für die Nutzung eines indirekten Indikators ist die Erhebung der Bevölkerungszahl in einem großen und schwer zugänglichen, von Nomaden besiedelten Gebiet.

Statt einer kaum durchführbaren Zählung “pro Kopf” könnte man sich dafür entscheiden, nachts über das Land zu fliegen und, als indirekten Indikator, die erleuchteten Feuerstellen zu zählen. Da aus anderen Untersuchungen bekannt ist, wie viele Personen sich in etwa um eine Feuerstelle herum gruppieren, lässt sich auf diese Weise die Bevölkerungszahl hinreichend genau bestimmen.

Übersetzt heißt das: Wenn du beispielsweise wissen möchtest, wie hoch die Anzahl der von Armut betroffenen Kinder in einem Stadtteil ist, wäre ein indirekter Indikator etwa die Anzahl der Kinder, die das Angebot eines kostenlosen Mittagessens nutzen.

Indirekte Indikatoren werden vor allem dann eingesetzt, wenn qualitative Sachverhalte beschrieben werden: veränderte Lebensumstände, veränderte Einstellungen, verändertes Verhalten.

Hieraus ergibt sich aber schon die nächste Schwierigkeit. Denn woran etwa würdest du festmachen, ob eine Jugendlicher infolge einer Projektteilnahme selbstbewusster geworden ist? – Daran, dass sie innerhalb der Gruppe öfter ihre Meinung vertritt? Sie mehr Sozialkontakte hat? Eine andere Körperhaltung zeigt? In solchen Fällen brauchst du also eine Vielzahl an Indikatoren, am besten für jede Stufe der Wirkungstreppe einen.

Indikatoren für jede Stufe der Wirkungslogik

Um feststellen zu können, ob ein Projekt auf dem richtigen Weg ist, müssen für die verschiedenen Stufen der Wirkungslogik Indikatoren gebildet werden. Die Indikatoren entlang der Wirkungslogik sind damit quasi “Meilensteine” für die Steuerung deines Projekts.

Indikatoren können, entsprechend der Wirkungslogik, in Impact-, Outcome-, Output- und Input-Indikatoren unterschieden werden. Für die wirkungsorientierte Projektarbeit sind zusätzlich noch Indikatoren für die Qualität der Projektarbeit wichtig.

Wirkungsindikatoren

Ob und inwieweit dein Projekt Wirkung entfaltet, bestimmst du mittels Wirkungsindikatoren (Outcome- und Impact-Indikatoren). Um auch die kleinen Fortschritte aller Teilnehmenden nachvollziehen zu können, kommt es aber weniger darauf an, Indikatoren für langfristige Wirkungen zu formulieren, sondern auch für die Outcomes der Stufen 4 – 6.

Output-Indikatoren

Outputs sind zwar noch keine Wirkungen, aber sie sind Bedingung dafür, dass Wirkungen entstehen. Ohne Outputs keine Wirkung. Insbesondere in der Anfangsphase eines Projekts kann es sein, dass Outputs die einzigen Dinge sind, die sich erheben lassen, da Wirkungen oftmals erst nach einiger Zeit zu ermitteln sind.

Wenn du etwa zum Projektstart die Wirkungen deines Projekts noch gar nicht überprüfen kannst, solltest wenigstens Aussagen über deine Outputs treffen können – das erfordert jedoch, dass du über die entsprechenden Output-Indikatoren verfügst.

Input-Indikatoren

Auch Input-Indikatoren sind relevant, da sie …

• Auskunft über die Ressourcen geben, die in das Projekt einfließen, und
• Rückschlüsse über die Effizienz und die Effektivität eines Projektes zulassen.

Wenn du Inputs in Relation zu den Outputs und Wirkungen setzt, kannst du zentrale Fragen beantworten wie:

• Mit wie viel Input wurden wie viele Outputs erbracht (= wie effizient arbeiten wir)?
• Mit wie viel Input wurden welche Wirkungen erzielt (= wie effektiv arbeiten wir)?

Indikatoren für das Qualitätsmanagement

Für die wirkungsorientierte Projektarbeit sind außerdem Indikatoren wichtig, die die Qualität der Projektarbeit erfassen.

Solche Standards können beispielsweise sein, dass Nachhilfestunden nur von Lehrerkräften oder Lehramtsstudierenden der jeweiligen Fachrichtung durchgeführt werden oder dass Pat*innen regelmäßig von einer ausgebildeten Supervisorin begleitet werden. Die Qualitätskriterien werden später während des Monitorings mit der Realität abgeglichen.

Wie bei den Output-Indikatoren gilt auch hier: Wenn du ein Projekt umsetzt, bei dem sich Wirkungen schwer nachweisen lassen, solltest du versuchen, die Qualität deines Projekts mithilfe aussagekräftiger Indikatoren zu belegen.

Indikatoren entwickeln in vier Schritten

Indikatoren sollten so früh wie möglich erarbeitet werden – am besten schon während der Projektplanung. In der Natur der Dinge liegt, dass im Projektverlauf weitere Indikatoren hinzukommen werden.

In die Indikatoren-Entwicklung sollten alle Personen eingebunden sein, die an der Planung, Durchführung und Wirkungsanalyse des Projekts beteiligt sind – idealerweise also Mitarbeitende wie auch Fördernde. Die Geldgebenden einzubinden ist schon insofern günstig, weil du auf diese Art elegant deren Erwartungen und Prioritäten abfragen kannst. Grundsätzlich benötigst du für alle Stufen deiner Wirkungslogik Indikatoren.

Und so gehst du vor:

Schritt 1: Ideen sammeln

Ausgangspunkt für die Entwicklung von Indikatoren sind …

1. die Ziele des Projekts, die für die verschiedenen Stufen der Wirkungslogik festgehalten wurden, und
2. die für die Wirkungsanalyse relevanten Fragen.

Notiere dir diese und überlege– am besten im Team –, woran du erkennst, dass ein bestimmtes Ziel erreicht wurde.

In diesem ersten Schritt geht es erst einmal darum, Ideen zu sammeln, ohne zu bewerten. Sammle daher alles, ohne sich zu beschränken. Notiere die Vorschläge der Gruppenmitglieder oder lass sie ihre Ideen auf Kärtchen schreiben, die du dann den Zielen und Fragen zuordnest.

Schritt 2: Ideen strukturieren und verfeinern

Im zweiten Schritt werden die Ideen strukturiert. Fasse die Ideen zusammen, ergänze und streiche. Manche Wirkungsziele lassen sich mit einem einzigen Indikator erfassen, etwa bei quantitativen Merkmalen. Ein Beispiel wäre die Anzahl der Jugendlichen, die nach Teilnahme einen Ausbildungsplatz gefunden haben.

Komplexere Wirkungsziele erfordern hingegen meist mehrere Indikatoren und darüber hinaus qualitative wie quantitative Indikatoren gleichzeitig. Wodurch kann sich etwa das Erreichen eines Ziels wie “Jugendliche haben höhere Bewerbungskompetenzen” ausdrücken? Wie lässt sich das beschreiben? Gibt es zählbare Dimensionen?

Bei der Entwicklung deiner Indikatoren kannst du dich an anderen Organisationen orientieren oder bereits bewährte Indikatoren-Sets nutzen. Blind übernehmen solltest du diese aber nicht – schließlich ist kein Projekt genau wie deines und Indikatoren sind ein wichtiger Schritt in der Projektentwicklung.

Schritt 3: Indikatoren formulieren

Damit ein Indikator aussagekräftig und messbar wird, sollte er, ebenso wie die Ziele, SMART formuliert sein – also spezifisch, messbar, akzeptiert, realistisch und terminierbar. Formuliere den Indikator so, dass klar wird, bei welcher Zielgruppe in welchem Zeitraum welche Wirkung konkret erreicht werden soll. Gegebenenfalls kann die Frage noch um “Wo” – etwa in einem bestimmten Stadtteil – und “Wie gut”, also hinsichtlich der Qualität, ergänzt werden.

Richtig formulieren

Anstelle von “Ein Großteil der Jugendlichen hat einen Ausbildungsplatz”, ist die bessere Formulierung: “Die Anzahl der arbeitslosen Jugendlichen im Stadtteil XY, die innerhalb von 6 Monaten nach der Teilnahme am Bewerbungstraining einen Ausbildungsplatz haben.”

Beherzige dabei bitte Folgendes:

• Ermittle Indikatoren, die sowohl quantitative als auch qualitative Aspekte berücksichtigen.
• Das zentrale Ziel der Wirkungsanalyse besteht darin, aus den Ergebnissen zu lernen und ggf. Veränderungen im Projekt vorzunehmen. Entsprechend sollten die Indikatoren folgende Fragen mit abdecken: Welche Informationen brauchst du, um festzustellen, dass es bei den Projektteilnehmenden zu den erwünschten Entwicklungen kommt? Welche, um festzustellen, wie du dein Projekt anpassen und verbessern kannst? Woran würdest du merken, dass etwas schiefläuft?
• Die Auswahl der Indikatoren spielt auch für Berichtsanforderungen eine wichtige Rolle. Beziehe deine Stakeholder und dabei vor allem die Geldgebenden so früh wie möglich ein. Überlegt gemeinsam, zu welchen Indikatoren Daten erhoben werden sollen.
• Überlege, in welcher Form oder Maßeinheit du den Indikator sinnvoll darstellst – möglich sind u.a. Anzahl, Summen, Durchschnitte, der Prozentsatz einer Menge, der Prozentsatz einer Veränderung etc.
• SMARTe Indikatoren verleiten dazu, vor allem Indikatoren auf Output-Ebene und Indikatoren für Wirkungen, die gezählt werden können, zu formulieren. Versuche daher, eine gute Mischung aus Indikatoren zu finden, die sowohl quantitative als auch qualitative Aspekte beleuchten.

Schritt 4: Auswahl der zu erhebenden Indikatoren

Sehr wahrscheinlich hast du in den Schritten 1-3 zu viele Indikatoren gesammelt. Da es aber weniger auf die Masse ankommt, sondern auf die Qualität der Indikatoren, geht es nun ans Priorisieren. Ziel ist, dass du ein kleines, aber aussagekräftiges Indikatoren-Set erhältst. Pro Ziel und Frage brauchst du mindestens einen Indikator; mitunter aber auch mehrere Indikatoren.

Ob ein Indikator tatsächlich etwas taugt, zeigt sich daran, ob für genau diesen Indikator schon Daten vorliegen bzw. mit welchem Aufwand Daten zu erheben sind. Leitfrage: Gibt es überhaupt eine zuverlässige Datenquelle und ist diese leicht zugänglich? Zuletzt musst du den Indikatoren noch Soll-Werte zuweisen. Wie das geht, erklären wir im nächsten Abschnitt.

Zuvor noch die Checkliste zum Abhaken:

• Jedem Ziel und jeder Frage ist mindestens ein Indikator zugeordnet.
• Die Indikatoren erfüllen die SMART-Kriterien.
• Die unterschiedlichen Aspekte eines Ziels werden durch Indikatoren abgedeckt.
• Es gibt nicht mehrere Indikatoren, die dasselbe messen.
• Den Indikatoren sind Soll-Werte zugeordnet.
• Bei der Erarbeitung der Indikatoren wurden die Stakeholder eingebunden.

Plan & Realität: Warum Baselines und Soll-Werte wichtig sind

Um die Wirkung feststellen zu können, die dein Projekt künftig erzielen wird, benötigst du Vergleichswerte aus der Vergangenheit. Wie hat sich die Situation dargestellt, bevor du dich engagiert hast?

Baselines

Baseline-Daten geben Aufschluss über die Ausgangssituation vor Beginn des Projekts. Ohne Baselines kannst du nicht feststellen, ob es Fortschritte gab und welche Wirkungen durch dein Projekt erzielt wurden.

Praxisbeispiel PAFF

Eine Baseline bei PAFF wäre die allgemeine Übergangsquote derjenigen Schüler*innen, die nach der Schule in eine Ausbildung wechseln. Wichtig wäre, dass dieser Vergleichswert sich auf einen Zeitpunkt bezieht, der vor dem Projektstart liegt. Fehlen hierzu Daten, lässt sich hinterher kaum feststellen, welchen Erfolg PAFF tatsächlich hat.

Im Idealfall werden Baselines …

• während der Bedarfs- und Umfeldanalyse und
• bis spätestens ein Jahr nach Projektbeginn erhoben.

Generell gilt: Je länger das Projekt läuft, umso schwieriger wird es, Daten für eine Baseline zu bekommen.

Wenn dir zum Projektstart noch nicht alle Indikatoren bekannt waren und du nun im Nachhinein Vergleichsmöglichkeiten schaffen musst, kannst du Teilnehmende fragen, wie diese ihre Situation vor Beginn der Maßnahme – also rückwirkend – einschätzen und wie sie sie jetzt bewerten. Beide Antworten hältst du in einer Skala fest.

Diese rückwirkende Baseline kann gerade bei individuellen und eher soften Outcomes sehr aussagekräftig sein. Parallel oder anstelle kannst du auch beteiligte Dritte befragen (z.B. die Eltern der teilnehmenden Jugendlichen).

Ergeben sich Indikatoren erst während der Projektumsetzung, musst du rückwirkend Informationen sammeln. Diese ergeben sich zum Beispiel aus alten Aufzeichnungen, Protokollen oder Situationsbeschreibungen von Personen, die bereits seit Projektstart dabei sind. Voraussetzung ist natürlich, dass du überhaupt über Aufzeichnungen verfügst.

Ist all das nicht möglich, kannst du auch zu jedem späteren Zeitpunkt beginnen, nach Bezugspunkten zu suchen. Deren Aussagekraft ist dann aber natürlich begrenzt.

Was tun ohne Baseline?

Gibt es bei Projektbeginn weder eine Baseline noch Erfahrungswerte, kannst du auch mit gefühlten Werten arbeiten, die du alsbald gegen reale Werte austauschst.

Soll-Werte

Ein Soll-Wert gibt Aufschluss über das, was erwartet wird bzw. ob ein Ziel erreicht wurde: Wann könnte man davon sprechen, dass ein Ziel erreicht wurde?

Praxisbeispiel PAFF

Hat etwa PAFF sein Ziel erreicht, wenn alle Patenkinder einen Ausbildungsplatz gefunden haben? Oder reicht die Hälfte? Oder ein einzelner Schüler*innen? Im Idealfall sollten natürlich alle Jugendlichen einen Ausbildungsplatz finden. Aber das wäre lebensfremd.

Genau deswegen sind Soll-Werte schwierig zu bestimmen: Einerseits sollen sie den Bedarf abbilden, der meist immens ist, andererseits sollen sie realistisch sein und motivieren.

Keine Angst vor Soll-Werten!

Soll-Werte können sich während des Projektverlaufs ändern, das liegt in der Natur der Dinge. Weisen also die Daten darauf hin, dass Soll-Werte korrigiert werden müssen, dann tu das! Soll-Werte sollen als positive Herausforderung dienen und motivieren. Das trifft insbesondere auf individuelle Soll-Werte zu, die du mit einzelnen Projektteilnehmenden vereinbart hast, wie beispielsweise die geplante Notenverbesserung zum Ende des Schuljahrs.

Um machbare Soll-Werte zu erhalten, greifst du zurück auf …

1. deine eigene Erfahrung,
2. die Erfahrungen und Ergebnisse ähnlicher Projekte oder
3. die Baseline und Zwischenresultate, die während des Projektverlaufs erhoben wurden.

Daten erheben

In diesem Kapitel erfährst du …

• wie du die passenden Datenquellen identifizierst.
• welche Datenerhebungsmethoden es gibt.
• wie du die für dich passende Methode auswählst.
• wie du schwer zu erhebende Wirkungen ermittelst.

Wozu Daten erheben?

Du weißt, welche Informationen du benötigst. Du weißt, welche Fragen du stellen musst, um an diese Informationen zu gelangen. Du kennst die Indikatoren, mit denen du feststellst, ob ein Ziel erreicht wurde. Nun musst du überlegen, mit welchen Hilfsmitteln du an diese Informationen gelangst.

Daten erheben in 3 Schritten

1. Im ersten Schritt erstellst du einen Datenerhebungsplan, der definiert, wann du welche Daten benötigst.
2. Im zweiten Schritt identifizierst du die passenden Datenquellen.
3. Im dritten Schritt geht es dann darum, die Daten tatsächlich zu erheben.

Schritt 1: Datenerhebungsplan erstellen

Der Datenerhebungsplan hilft dir, dein Monitoring zu strukturieren, zu planen und zu kontrollieren. Hier kannst du eine Vorlage herunterladen:

Schritt 2: Datenquellen identifizieren 

Für jeden Indikator benötigst du mindestens eine Datenquelle. Hilfreiche Fragen in diesem Zusammenhang sind: 

• Liefert die Quelle hochwertige Daten? 
• Ist die Datenquelle leicht zugänglich und kann regelmäßig abgerufen werden? 
• Sind die Kosten vertretbar? 

Hast du auf diese Weise eine Datenquelle ermittelt, musst du die Methode bestimmen, mit der du Informationen erhebst. 

Schritt 3: Daten erheben 

Hierfür hast du zwei Möglichkeiten: Du kannst bereits vorhandene Daten nutzen oder du erhebst Daten neu. 

1. Vorhandene Daten nutzen
   Viele Informationen liegen bereits an irgendeiner Stelle vor. Neben den Daten aus externen Quellen, wie z.B. offizielle Statistiken und Erhebungen, kannst du oft auch innerhalb der Organisation auf bereits vorliegende Informationen zurückgreifen. Zu finden sind solche Daten in Dokumentationen und Projektunterlagen, in Evaluationen und Jahresberichten, in Teilnehmenden-Informationen, Anmeldebögen etc. – vor allem aber in den Köpfen aller Mitarbeitenden. Die Mitarbeiter*innen sind eine unverzichtbare Quelle und sollten schon allein deshalb von Anfang an in die Wirkungsanalyse mit einbezogen werden.
2. Neue Daten erheben 
   Reichen die bestehenden Daten nicht aus oder existieren schlicht noch keine Daten, musst du selbst welche ermitteln. Hierfür stehen dir eine Vielzahl an Datenerhebungsmethoden zur Verfügung, von komplex & aufwändig bis ressourcenfreundlich & in Eigenregie. Für welchen Ansatz du dich entscheidest, hängt von den zur Verfügung stehenden Ressourcen ab sowie davon, in welcher Detailtiefe und in welchem Umfang du die Informationen benötigst. – Die Kunst besteht darin, dass du diejenige auswählst, die zu deinem Kontext passt. 
   

Tipp:

Wider die Sammelwut! Blockiere dein Projekt nicht mit exzessivem Datensammeln! Häufe keine Datenberge an, diese kann ohnehin niemand auswerten. Überlege deshalb beizeiten, welche Informationen du tatsächlich brauchst. 

Quantität, Qualität oder beides? – Methoden der Datenerhebung

Mithilfe welcher Methode du Daten erhebst, ist abhängig von deinem Erkenntnisinteresse und vom jeweiligen Indikator. Unterschieden werden quantitative und qualitative Erhebungsmethoden. 

Quantitative Methoden eignen sich besonders dann, wenn: 

• präzise Daten vorliegen sollen, 
• du dir einen generellen Überblick verschaffen möchtest, 
• Vergleiche zwischen verschiedenen Gruppen oder Personen nötig sind, 
• statistische Abhängigkeiten zwischen dem Problem und den vermuteten Ursachen zu prüfen sind, 
• der Beweis erbracht werden soll, dass ein Projekt (zählbare) Erfolge liefert. 

Quantitative Methoden sind unter anderem Messungen, Zählen, die Analyse statistischer Daten, Befragungen, Tests sowie strukturierte Beobachtungen. 

Bei der qualitativen Datenerhebung werden detaillierte, subjektive und individuelle Erkenntnisse über Einstellungen und Handlungen ermittelt. Hierfür werden Einzelfälle auf ihre Besonderheiten hin untersucht.

Qualitative Daten beschreiben einen Sachverhalt und helfen, ein vertieftes Verständnis von einer Situation zu bekommen. Das macht sie für die wirkungsorientierte Steuerung von Projekten auch so wichtig: Meist ergeben sich erst aus der Kombination quantitativer und qualitativer Daten vollständige Ursachen und Zusammenhänge. 

Qualitative Erhebungsmethoden sind dadurch gekennzeichnet, dass sie sich mit dem Wie & Warum eines Sachverhalts oder einer Entwicklung beschäftigen. Sie eignen sich vor allem, wenn es darum geht … 

• eine Situation in einem bestimmten Kontext genau zu verstehen, 
• herauszufinden, wie Personen oder Gruppen ihre Situation einschätzen und welche Erwartungen und Wünsche sie haben. 

Qualitative Methoden sind u.a. verschiedene Formen von Interviews (Einzelinterviews, Fokusgruppen, etc.), Beobachtungen und Dokumentenanalysen. Diese Fragen helfen dabei, die für dich passenden Erhebungsmethoden zu ermitteln: 

• Was genau möchtest du herausfinden? – Möchtest du wissen, wie groß die erreichte Zielgruppe ist, oder willst du ermitteln, warum das Projekt bei einer ganz bestimmten Personengruppe keine Wirkung erzielt? 
• Wofür brauchst du die Informationen? – Möchtest du gegenüber Geldgebenden die Relevanz eines Problems verdeutlichen, eignen sich besonders quantitative Daten. Willst du hingegen ein Problem durchdringen oder Details und Unterschiede herausarbeiten, sind qualitative Methoden zielführender. 

Über die Feinheiten empirischen Arbeitens informiert das Medienlabor der Uni Augsburg, speziell für Einsteiger*innen wie auch für Fortgeschrittene. Je mehr Blickwinkel du einnimmst, aus denen du dein Projekt betrachtest, umso aussagekräftiger ist das Bild, das sich ergibt. Aus diesem Grunde bietet es sich an, verschiedene Datenquellen und Erhebungsmethoden miteinander zu kombinieren – quantitative und qualitative gleichermaßen. 

Erhebungsmethoden im Überblick

Die Auswahl an Erhebungsmethoden für die Projektarbeit ist groß: Es gibt viele und in jeder Ausprägung. Die Entscheidung für die passende Methode ist alles andere als einfach und erfordert in vielen Fällen Erfahrung. Deshalb ist es sinnvoll, sich mit Fachleuten auszutauschen oder Menschen zu befragen, die in ähnlichen Projekten arbeiten. Zu überlegen ist, wofür du die Informationen brauchst und wie aussagekräftig als auch belastbar die Daten sein müssen. 

Richtige Methoden wählen

Die Methoden unterscheiden sich stark hinsichtlich Aufwand, Vorkenntnissen, Aussagekraft und Belastbarkeit der Aussage. Die Entscheidung für oder gegen eine bestimmte Methode ist abhängig von … 

• den Fragen, die du beantworten willst, und 
• den Indikatoren, anhand derer du feststellst, ob und wie weit du ein Wirkungsziel erreicht hast. 

Erhebungsmethode testen 

Bevor du mit der Datenerhebung beginnst, ist es ratsam, deine Instrumente zu testen, etwa mittels Fragebogen oder eines Interviewleitfadens. Das Augenmerk sollte dabei auf folgenden Punkten liegen: 

• Sind die Fragen klar und präzise? 
• Entspricht die Wortwahl dem Duktus der Zielgruppe? 
• Sind die Fragen positiv? Sind sie so formuliert, dass sie bei den Befragten kein Unbehagen oder eine Abwehrhaltung hervorrufen? 
• Sind die Anweisungen an die Personen, die mit der Erhebung betraut sind, klar und eindeutig? 
• Sind Länge und Umfang der Befragung bzw. des Fragebogens angemessen? – Zu lange Fragebögen und Interviews führen dazu, dass die Befragten ungeduldig und unkonzentriert werden, was sich wiederum negativ auf die Brauchbarkeit der Antworten auswirkt. 

Am Anfang ist weniger übrigens mehr. Ist dein Budget klein oder stehst du ganz am Anfang, beginnst du am besten mit kleinen, übersichtlichen Maßnahmen, die du nach und nach erweiterst. Die Ergebnisse sind anfangs vielleicht weniger exakt, aber sie sind in vielen Fällen ausreichend, um Lern- und Verbesserungsprozesse anzustoßen.

Die wichtigsten Erhebungsmethoden im Überblick 

Die Liste enthält wesentliche, aber bei Weitem nicht alle Erhebungsmethoden, und sie veranschaulicht jeweils Vor- und Nachteile. 

• Fragebogen sind die mit am meisten verwendete Art der Datenerhebung, bewährt und effektiv. Mittels Fragebogen kannst du herausfinden, wie zufrieden Teilnehmende mit einem Angebot sind, welches Wissen sie erworben haben und ob sie es auch anwenden. Fragebogen mit geschlossenen Fragen lassen sich selbst in größerer Anzahl schnell auswerten; Fragebogen mit offenen Fragen liefern meistens nützliche Zusatzinformationen. 
  
  Vorteile:
  – viele Befragungen in kurzer Zeit möglich
  – Daten lassen sich gut zusammenfassen
  – gewährleisten Anonymität
  
  Nachteile:
  – Ausarbeitung erfordert Zeit und Know-how
  – evtl. wenig Rücklauf
  – Antwortmöglichkeiten eingeschränkt
  – keine Möglichkeiten für Nachfragen

• Einzelinterviews fangen verschiedene Perspektiven zu einem bestimmten Thema ein. Sie eignen sich für Befragungen während der Bedarfsanalyse, wenn ein neues Projektmodul entwickelt wird, um individuelles Feedback zu erfassen und um Verbesserungspotenziale zu ermitteln.
  
  Die Form des Interviews hängt von den Interviewten, den Fragen und dem Gesprächsziel ab. Semistrukturierte Interviews, also solche mit offenen und geschlossenen Fragen, sind eine gute Methode, um einen vertieften Einblick in ein Thema zu bekommen. Einzelinterviews eignen sich besonders für die Bedarfsanalyse oder wenn ein Konzept für ein Projektmodul erarbeitet werden soll. 
  
  Entscheidend ist auch, wer die Interviews durchführt: Leiten Projektmitarbeitende das Interview, besteht die Gefahr, dass die Befragten nur erwünschte Antworten geben. Fragt jemand Externes, kann es passieren, dass Befragte ihre Meinung lieber für sich behalten. 
  
  Achte darauf, eine repräsentative, aber trotzdem nicht zu homogene Gruppe zu befragen. Nur so erhältst du aussagekräftige und belastbare Antworten. Interviews sollten stets um einige wenige Kernfragen herum konzipiert werden. Ist das Gesprächsziel unklar, bleiben auch die Antworten schwammig. 
  
  Vorteile: 
  – Stakeholder werden einbezogen
  – liefern relevante Daten
  – weisen ggfs. auf unerwartete Ergebnisse hin
  – liefern evtl. Aussagen, die in einer Gruppensituation nicht gemacht worden wären
  – erlauben Nachfragen bei den Interviewten
  
  Nachteile:
  – zeitintensiv
  – Interviewer*in muss geschult sein
  – Ergebnisse evtl. schwer auszuwerten und zu quantifizieren

PAFF befragt nach Projektende Jugendliche in Einzelinterviews, inwiefern sie vom Projekt profitiert und ob sie einen Ausbildungsplatz gefunden haben. 

• Expert*innen-Interviews: Hierunter versteht man Befragungen von Expert*innen, Entscheidungsträger*innen und Personen, die die Situation vor Ort und die Zielgruppe einschätzen können. Bei einem Expert*innen-Interview steht nicht die oder der Befragte als Person im Vordergrund, sondern die Funktion als Expert*in in einem spezifischen Handlungskontext oder als Repräsentant*in einer Gruppe. 
  
  Du kannst mit einzelnen Expert*innen individuelle Interviews führen oder auch mit mehreren gleichzeitig, zum Beispiel am “Runden Tisch“. Das macht sowohl bei der Planung eines Projekts Sinn als auch in regelmäßigen Abständen während des Projekts. 
  
  Vorteile:
  – überschaubarer Aufwand
  – preiswert
  – Synthese von Meinungen
  – Einbindung von Entscheidungsträger*innen
  
  Nachteil:
  – Gefahr, dass Debatten zu abstrakt bleiben

PAFF setzt in verschiedenen Kontexten auf Expert*innen-Interviews: Im Zuge der Bedarfsanalyse wurden die Leitung des Jugendamts, ein Mitarbeiter aus dem Jobcenter, eine Schuldirektorin und ein Unternehmer um ihre Einschätzung gebeten. Zusätzlich werden während des Projektverlaufs regelmäßig Interviews mit den Klassenlehrer*innen geführt. 

• Fokusgruppen: Eine Fokusgruppe ist eine moderierte Diskussion zwischen mehreren Teilnehmenden, die sich inhaltlich zu einer eng eingegrenzten Frage austauschen. Im Idealfall beflügeln sich die Teilnehmenden gegenseitig und gelangen zu tiefergehenden Aussagen. 
  
  Fokusgruppen eignen sich v.a. dann, wenn gemeinsame Erfahrungen und Probleme erläutert und Lösungen erarbeitet werden müssen. Entscheidend ist die Auswahl des Podiums: Können die Teilnehmenden offen miteinander sprechen? Repräsentiert die Gruppe verschiedene Sichtweisen? Kann sich eine ergiebige Diskussion entwickeln? 
  
  Vorteile:
  – Stakeholder werden einbezogen
  – liefern auch unerwartete Ergebnisse 
  – Mehrwert durch den Austausch der Teilnehmenden (verschiedenen Ansichten) 
  – Nachfragen möglich 
  
  Nachteile:
  – mittlerer Zeitaufwand
  – Expertise notwendig
  – Ergebnisse schwer quantifizierbar bzw. kaum auswertbar
  – Teilnehmende äußern sich evtl. nicht offen 
  – individuelle Meinungen und Erfahrungen treten in den Hintergrund 

PAFF lädt die Pat*innen alle sechs Monate zu einer Gruppendiskussion ein, in der über Erfahrungen, Probleme, Erfolge und die Wirkungslogik des Projekts gesprochen wird. Mithilfe der Fokusgruppe kann das Projekt kontinuierlich verbessert werden. 

• Informelle Gespräche und Anekdoten umfassen alle Gespräche mit Teilnehmenden und Stakeholdern, die über ein “Guten Tag” und “Auf Wiedersehen” hinausgehen. Jede Form von Rückmeldung, Einschätzung und Bewertung kann hilfreich sein – unabhängig davon, ob sie in der Teeküche, im Seminar selbst oder auf dem Nachhauseweg erfolgt. In der Natur informeller Gespräche liegt es, dass sie insbesondere über ungeplante Ergebnisse Aufschluss geben, positive wie negative. 
  
  Entscheidend ist, dass du solche Informationen aus informellen Gesprächen regelmäßig und systematisch sammelst, und zwar während des gesamten Projektverlaufs. 
  
  Als außerordentlich nützlich haben sich hier Projekttagebücher erwiesen, die alle haupt- und ehrenamtlichen Mitarbeitenden führen. Hilfreich ist auch, Mitarbeitende zu ermuntern, in Projektmeetings über Anekdoten zu berichten, und diese zu protokollieren. Diese Aufzeichnungen sollten nicht in der Schublade verschwinden, sondern Thema regelmäßiger Treffen der ehrenamtlichen wie hauptamtlichen Mitarbeitenden sein. 
  
  Informelle Gespräche sind besonders geeignet, um die indirekten Zielgruppen des Projekts zu bespielen (z.B. Eltern). 
  
  Vorteile:
  – direkter Kontakt zur Zielgruppe 
  – liefern Informationen über ungeplante Effekte 
  – liefern Inhalte für die Kommunikation (Storytelling) 
  – keine Vorkenntnisse nötig, preiswert umzusetzen 
  
  Nachteile:
  – Ergebnisse stark subjektiv 
  – schwer zu verallgemeinern

PAFF: Verschiedene Pat*innen erfahren durch zufällige Gespräche mit den Eltern, dass ihre Kinder sich nicht nur schulisch verbessert hätten, sondern auch deren Aggressionspotenzial abgenommen habe. Ohnehin führt jede*r der Pat*innen ein Patenschaftstagebuch, das positive und negative Ereignisse festhält. Ein Austausch hierüber findet bei den regelmäßigen Pat*innengruppentreffen statt. 

• Systematische Beobachtungen: Anstatt viel zu fragen, kann es in manchen Fällen sinnvoller sein, genau zu beobachten. Bei systematischen Beobachtungen werden Ereignisse, Individuen, Gruppen und Sozialräume betrachtet. Systematische Beobachtungen bieten sich an, wenn du Antworten aus einer Befragung überprüfen willst oder dir weitergehende, spezifische Erkenntnisse erhoffst. 
  
  Bei einer teilnehmenden Beobachtung nimmt die beobachtende Person an den Interaktionen des Felds, das beobachtet wird, mehr oder weniger aktiv teil. Bei einer nicht-teilnehmenden Beobachtung bleibt die beobachtende Person außerhalb des Felds, das sie beobachtet. Mehr hierzu findest du unter www.eval-wiki.org/glossar/Beobachtung. 
  
  Vorteile:
  – direkter Bezug zur Zielgruppe bzw. zum Sozialraum 
  – liefert ggf. kommunikative Inhalte (Storytelling)
  
  Nachteile:
  – sehr zeitaufwändig 
  – Beobachter*innen müssen geschult sein 
  – evtl. wird die Privatsphäre ausgehebelt 

PAFF: Die externe Evaluatorin prüft die tatsächlichen Veränderungen im Sozialverhalten der Jugendlichen. Hierfür wertet sie die Befragungen der Jugendlichen und Lehrerkräfte aus. Zusätzlich hospitiert sie für einige Zeit an der Schule, um das Sozialverhalten der Jugendlichen im schulischen Kontext zu beobachten. 

• Tests und Messungen liefern an verschiedenen Punkten des Projektzyklus’ wichtige Informationen. Zum Projektstart etwa geben sie Auskunft über die Situation der Zielgruppe. Das könnten zum Beispiel Mathe-Tests bei Schüler*innen oder die Erhebung des Gesundheitsstatus bei Teilnehmenden eines Gesundheitsprogramms sein. 
  
  Tests bedienen sich oft quantitativer Methoden, es sind aber auch qualitative und gemischte Methoden möglich. 
  
  Vorteile:
  – bilden Veränderungen im Zeitverlauf gut ab
  – hohe Vergleichbarkeit bei standardisierten Tests 
  
  Nachteile:
  – mittlerer Zeitaufwand 
  – braucht umfassende Expertise
  – standardisierte Test eignen sich evtl. nicht für die spezielle Situation der Zielgruppe 

PAFF testet vor Start und nach Ende der Bewerbungstrainings, über welchen Wissensstand die Teilnehmenden verfügen. 

• Fallstudien (Case Studies): Bei Fallstudien stehen einzelne Teilnehmende oder eine ganz bestimmte, eng definierte Gruppe im Fokus. Bei Fallstudien können eine Vielzahl von Methoden angewandt werden – halb-strukturierte Interviews, systematische Beobachtungen, Fokusgruppen etc. 
  
  Fallstudien eignen sich, wenn es darum geht, Wirkung beispielhaft darzustellen. Mit Zahlen & Daten verknüpfte Geschichten einzelner Personen ergeben ein sehr aufschlussreiches Bild über die Wirkung eines Projekts. 
  
  Vorteile:
  – direkter Bezug zur Zielgruppe 
  – Liefert ggf. gute Inhalte auch für die Kommunikation (Storytelling) 
  
  Nachteil:
  – unter Umständen schwer zu verallgemeinern 

PAFF zeichnet den Weg des einstigen Problemkinds Jakob nach – von seinem ersten Gespräch mit dem PAFF-Paten bis zum Ende der Probezeit im Job. Hierbei werden die Daten aus dem Monitoring mit qualitativen Aussagen aus den Patenschaftstagebüchern verknüpft.

• Dokumentenanalyse: In vielen internen und externen Dokumenten finden sich wichtige Informationen für die Wirkungsanalyse. Interne Dokumente sind Projektkonzeptionen, Berichte und Protokolle; in ihnen finden sich Ziele, Resultate, Abweichungen. Externe Dokumente sind Studien, Surveys oder offizielle Statistiken; diese sind vor allem für die Bedarfs- und Umfeldanalyse und als Vergleichsmaßstab interessant. 
  
  Vorteile:
  Interne Daten
  – meistens schon vorhanden
  – preiswert und schnell zu ermitteln
  – Mitarbeitende werden einbezogen
  
  Externe Daten
  – preiswert
  – methodisch meist zuverlässig
  – bei regelmäßigen Erhebungen sind Vergleiche über die Zeit möglich
  
  Nachteile:
  Interne Daten
  – evtl. schwer objektivierbar 
  – evtl. keine Informationen über Ursachen-/Wirkungszusammenhänge 
  – Informationen evtl. unaktuell oder unvollständig 
  
  Externe Daten
  – oft nicht auf den Sozialraum bezogen und hoch aggregiert 
  – evtl. unaktuell 

PAFF: Für die externe Evaluation hat die Evaluatorin auf die Projektkonzeption und auf die Daten aus dem Monitoring zurückgegriffen. Zu Projektbeginn hat PAFF bei der Analyse der Bedarfe die offiziellen Statistiken zur Jugendarbeitslosigkeit in der Region und Dokumente mit Informationen zur Situation des regionalen Ausbildungsmarkts genutzt. 

Schwer zu erhebende Wirkungen

Wirkungen nachzuweisen, kann aus vielerlei Gründen eine große Herausforderung sein. Was kannst du also tun bei Wirkungen, die sich nur mit viel Aufwand ermitteln lassen? 

Langfristige Wirkungen nachweisen 

Viele soziale Projekte zielen auf Wirkungen, die erst nach einiger Zeit eintreten. Solche Wirkungen nachzuweisen ist aufwändig und schwierig. Das beginnt bereits bei der Datenbeschaffung, wenn du versuchst, ehemalige Teilnehmende womöglich nach Jahren wieder zu kontaktieren. 

Außerdem stellt sich die Frage, inwiefern die festgestellten Wirkungen tatsächlich auf das Projekt zurückzuführen sind, denn in der Zeit zwischen Projektende und dem Eintreten der Wirkung ist einiges im Leben der Teilnehmenden passiert; sie waren sicherlich einer Vielzahl an Einflüssen ausgesetzt, von denen ein paar voraussichtlich ebenfalls Wirkung zeigen. 

Das kannst du tun: 

• Pflege deine Kontaktdatenbank. 
• Kündige den Teilnehmenden schon während des Projekts eine Nachbefragung an. 
• Bitte jede*n Befragte*n, selbst einzuschätzen, wie groß der Einfluss deineProjekts auf seine oder ihre jetzige Situation ist. 

Tipp: die Wirkungslogik anwenden

Stellst du fest, dass bei den Teilnehmenden Wirkungen der Outcome-Stufen 4 (Veränderungen im Wissen) und 5 (Veränderungen im Verhalten und Handeln) eintraten, kannst du mit einer gewissen Wahrscheinlichkeit annehmen, dass das Projekt auch Einfluss auf Outcomes der Stufe 6 (Änderung der Lebenssituation) besitzt. 

Teilnehmende wollen oder können nicht befragt werden 

In einigen Projekten ist es schwierig, Teilnehmende zu befragen. Einige haben Vorbehalte, andere befürchten Nachteile (von Gewalt Betroffene oder StraftäterInnen etc.), wieder andere sind schlicht nicht in der Lage, Auskünfte zu erteilen (Kleinkinder, schwer Erkrankte u.a.). 

Das kannst du tun: 

• Anonymität zusichern und gewährleisten
• nahestehende Personen befragen (Eltern oder pflegende Angehörige)

Kampagnen & Advocacy 

Ziel von Kampagnen ist es, Entscheidungsträger*innen sowie die öffentliche Meinung zu beeinflussen und Prozesse anzustoßen, die sich in einer Veränderung des Bewusstseins und des Verhaltens ausdrücken. Beispiele sind Kampagnen gegen das Rauchen. Solche Wirkungen sind generell schwer zu erheben. 

Ob eine Kampagne die erwünschte Wirkung auf gesellschaftlicher Ebene erzielt hat, lässt sich am ehesten in groß angelegten Studien (z.B. über den Gesundheitsstatus der Bevölkerung) ablesen, die für einzelne Organisation kaum durchführbar sind. 

Das kannst du tun: 

Definiere entlang Wirkungslogik einzelne Teilziele, zu denen sich Daten erheben lassen. Beispielsweise lässt sich die Beeinflussung von Entscheidungsträger*innen oder relevanter Multiplikator*innen dadurch überprüfen, ob Forderungen aufgegriffen oder Argumente übernommen wurden, oder ob es eine verstärkte Berichterstattung zum Thema in den Medien gab. 

Zielgruppe sind Organisationen 

In Projekten, deren Zielgruppen Organisationen sind, ergeben sich die Wirkungen aus dem Nutzen, den diese Organisationen aus der Unterstützung durch das Projekt ziehen. 

Die Veränderungen im Wissen und in der Arbeitsweise der Organisation sind mittelfristige Outcomes; eine langfristige Wirkung wäre, wenn die Organisation effektiver arbeiten könnte. Diese Wirkungen lassen sich vor allem über qualitative Daten abbilden. 

Angenommen, ein Projekt unterstützt Organisationen dabei, ehrenamtliche Mitstreitende zu gewinnen und zu managen, dann … 

• bestünde eine Wirkung auf Outcome-Stufe 4 darin, dass die Organisation gelernt hat, wie man Ehrenamtliche akquiriert und betreut. 
• wäre eine Wirkung auf Outcome-Stufe 5, dass die Organisation dieses Wissen tagtäglich anwendet. 
• ließe sich von Wirkungen auf Outcome-Stufe 6 sprechen, wenn die Organisation aufgrund ihres verbesserten Ehrenamtsmanagements Projekte effektiver als zuvor umsetzt. 

Wirkungen auf Impact-Ebene 

Impacts zu erheben, ist in vielen Fällen schwer bis gar nicht möglich. Denn Veränderungen auf gesellschaftlicher Ebene treten in den allermeisten Fällen erst nach längerer Zeit auf. Zudem benötigen komplexe Probleme viele Impacts, die wiederum zahlreichen Einflüssen unterliegen. 

Hier die Netto-Wirkung eines einzelnen Projekts herauszufiltern, kann gar nicht funktionieren. Das bedeutet allerdings nicht, dass du es nicht doch versuchen solltest! 

Das kannst du tun: 

• Denke den Impact in der Analysephase mit: Entwickle realistische Indikatoren, anhand derer du feststellen kannst, ob dein Projekt einen Einfluss auf das Gesamtgefüge hatte. 
• Zügle gegenüber Geldgebenden die Erwartungen, was Impacts angeht und verweise auf komplexe Zusammenhänge (hierfür kannst du etwa den Problembaum nutzen). Skizziere, welchen Anteil dein Projekt im gesamten Getriebe einnimmt und welche Wirkung realistisch möglich ist. 

Offene Angebote 

Offene Angebote für Kinder, Jugendliche oder ältere Menschen haben häufig Schwierigkeiten, Aussagen über ihre Wirksamkeit zu treffen, und geraten deshalb zum Teil unter einen Rechtfertigungsdruck. Mal ist die Gruppe der Teilnehmenden sehr heterogen, mal nehmen diese nur unregelmäßig teil, sodass es schwierig erscheint, Wirkungsziele zu setzen und Wirkungen nachzuweisen. 

Das kannst du tun: 

• Denke um die Ecke: Warum nutzen die Besucher*innen dein Angebot? 

Ein Senior*innen-Treff wird nicht allein deshalb frequentiert, weil der Kaffee so gut und der Kuchen so preiswert sind, sondern weil die Besucher*innen Kontakte knüpfen und ihre Lebensqualität steigern wollen. Was wären hierfür Wirkungsziele und Indikatoren? 

Auch wenn es im Freizeithaus vor allem darum geht, Spaß zu haben, bauen Kinder und Jugendliche soziale und kulturelle Kompetenzen auf und lernen, Verantwortung zu übernehmen. Was wären Wirkungsziele und Indikatoren? 

• Setzen auf qualitative Erhebungen, Fallstudien und Anekdoten. Unterfüttere Outputs mit Aussagen der Teilnehmenden, wie ihnen das Angebot gefallen hat. 

Präventionsprojekte 

Wenn Jugendliche nicht anfangen, zu rauchen oder Mädchen nicht mit 14 schwanger werden, haben Präventionsprojekte ihr Ziel erreicht. Nur: Wie lässt sich nachweisen, dass diese Wirkungen auf das jeweilige Projekt zurückzuführen sind? 

Das kannst du tun: 

• Ermittle eine Vergleichsgruppe, die nicht am Projekt teilgenommen hat. Das könnten zum Beispiel Jugendliche aus der Parallelklasse oder aus einer anderen Schule im Stadtteil sein. 
• Auch bei der Prävention lässt sich mit der Wirkungslogik argumentieren (siehe oben “Langfristige Wirkungen nachweisen”). 

Was sind Kontrollgruppen? 

Die Kontrollgruppe ist eine Gruppe von Personen, die untersucht werden, ohne dass sie Teil des Projekts sind. Eine Kontrollgruppe erlaubt einen Vergleich mit der Teilnehmendengruppe; daraus abgeleitet lassen sich Aussagen zur Wirksamkeit des Projekts treffen. Eine Evaluation mit Kontrollgruppen ist zwar sehr aufwändig, dafür jedoch sind die Daten aussagekräftig und belastbar. 

Daten auswerten

Hier erfährst du

• wie du die Daten in nutzbare Informationen übersetzt und 
• wie du hieraus konkrete Schlussfolgerungen und Handlungsempfehlungen ableitest. 

Datenanalyse

Vor, während und nach der Laufzeit deines Projekts hast viele Informationen gesammelt: Es gab Feedback und du verfügst über eigene Eindrücke. All das gilt es nun zu analysieren und auszuwerten, am besten im Team. Hast du das Ziel erreicht? Verlief alles wie geplant? Gab es unerwartete Entwicklungen und wenn ja, warum? Und was folgt daraus? 

Im nun folgenden Schritt geht es darum, die Daten in brauchbare Informationen umzuwandeln, aus denen du lernen und die du für die Projektsteuerung nutzen kannst. 

Die Analyse kann je nach Erkenntnisinteresse, Datenmenge und Datenqualität sehr anspruchsvoll sein. Kann. Denn damit wollen wir gar nicht erst anfangen. Vielmehr möchten wir dir praxisnahe Tipps für den Projektalltag geben, mit denen du zügig zu brauchbaren Ergebnissen gelangst. Wir verraten, wie du in vier Schritten aus einem Berg an Informationen für dich interessante Schlussfolgerungen ziehst. 

Zuvor muss allerdings geklärt werden, wann ein guter Zeitpunkt für die Auswertung ist, und wer die Auswertung vornehmen sollte. 

Wer ist zuständig und wann wird ausgewertet?

Bei externen Evaluationen ist die Auswertung outgesourct. Damit hat die externe Fachkraft auch den Hut auf. Bei projektinternen Evaluationen gilt: Die Person, die die Daten erhebt, sollte sie auch auswerten – schließlich ist sie diejenige, sie am ehesten Bezüge zwischen den Daten herstellen kann, sofern sie nicht befangen oder stark betriebsblind ist. Sind mehrere Personen beteiligt, braucht es eine Verantwortliche oder einen Verantwortlichen, die oder der die Auswertung koordiniert. 

Die Ergebnisqualität hängt entscheidend davon ab, wen du einbeziehst. Nur mit den richtigen Leuten kannst du die Ergebnisse hinreichend genau deuten und falschen Schlussfolgerungen vorbeugen – insbesondere bei Resultaten, die mehrere Interpretationen zulassen oder bei denen verschiedene Blickwinkel gefragt sind. 

Tausche dich im Team aus und binde diejenigen Stakeholder mit ein, die die Ergebnisse der Analyse tatsächlich einschätzen können. Dasselbe gilt bei einer Evaluation durch extern: Auch in diesem Fall sollten die Ergebnisse breit diskutiert werden, zum Beispiel indem du sie einer repräsentativen Gruppe vorstellst. 

Die folgenden Fragen helfen dir bei der Arbeit mit deinen Daten: 

Welche weiteren Informationen benötigst du? An welcher Stelle musst du genauer beobachten? Werte Daten, die du ermittelt hast, so schnell wie möglich aus! Das aus folgenden Gründen: 

1. Daten, die ungenutzt liegen bleiben, sind erfahrungsgemäß verloren. 
2. Steuern und Kommunizieren kannst du ausschließlich mit frischen Daten und nicht mit solchen, die allenfalls mittelfrisch sind. 
3. Daten, die auf Fehlentwicklungen hinweisen, machen womöglich weitere Datenerhebungen notwendig – ggfs. aber an Stellen, die du zuvor gar nicht auf dem Schirm hattest. 

So macht es PAFF 

Die Daten, die PAFF erhebt, werden von der Projektleitung ausgewertet und in einem ersten Schritt analysiert. Im zweiten Schritt werden die Ergebnisse dem Leitungsteam vorgestellt. Hierzu sind auch Pat*innen und Lehrkräfte eingeladen. 

Bei der Präsentation der externen Evaluation sind neben dem Leitungsteam die involvierten Pat*innen, die Klassenlehrer*innen sowie zwei Unternehmensvertretenden zugegen, in deren Betrieb ehemalige Projektteilnehmende eine Ausbildung absolvieren. 

Endlich ins Tun kommen: von der Datenauswertung zur Praxis

Es braucht vier Schritte, um die Auswertung in Handlungsempfehlungen umzumünzen.

Schritt 1: Daten aufbereiten und auswerten 

Zunächst werden die Daten systematisiert und zusammengefasst. Quantitative Daten lassen sich in Tabellen aufbereiten. Bei qualitativen Daten, die durch Interviews oder durch Fragebogen mit offenen Fragen erhoben wurden, werden die Kernaussagen extrahiert und zusammengefasst. 

Schritt 2: auf Plausibilität prüfen 

Im Anschluss sind die Daten auf Plausibilität zu prüfen. Der Plausibilitäts-Check ist ein kleiner, aber sehr wichtiger Schritt, denn auch kleine Fehler können eine Untersuchung stark verzerren. Während die Datenauswertung (Schritt 1) nur durch einige wenige Personen erfolgen sollte, ist es sinnvoll, den Plausibilitäts-Check auf deutlich mehrere Schultern zu verteilen. Vor allem sollten diejenigen einbezogen werden, die die Ergebnisse am ehesten fachlich einschätzen können: Projektverantwortliche, Projektmitarbeitende, externe Stakeholder mit Sachverstand. 

Schritt 3: Daten analysieren 

Die Auswertung der Daten in Schritt 1 ist rein deskriptiv, das heißt, die Ergebnisse werden 1:1 dargestellt: “30 Prozent der Jugendlichen besitzen einen Ausbildungsplatz”. Schritt 3 baut auf dieser Beschreibung auf und reflektiert die Ergebnisse. Dabei werden die Resultate zunächst verglichen und dann bewertet und interpretiert. Bewerten meint nicht, in “gut” oder “schlecht” zu unterscheiden, sondern die Resultate in einen Kontext zu setzen und festzustellen, ob das Projekt noch auf dem geplanten Weg ist. Schritt 3 schafft die Grundlage dafür, um aus den Daten zu lernen und Verbesserungen anstoßen zu können. 

Schritt 4: Schlussfolgerungen ziehen, Handlungsempfehlungen ableiten 

Auch die aufwändigste Datenanalyse nützt nichts, wenn die Ergebnisse ungenutzt bleiben. Deswegen müssen die Ergebnisse breit kommuniziert und hinreichend besprochen werden. Wie bei der sonstigen wirkungsorientierten Projektsteuerung auch, kommt es darauf an, dass alle Beteiligten an den Schlussfolgerungen partizipieren. Die Ergebnisse sollten daher mit den relevanten Stakeholdern diskutiert werden, ggf. auch mit Fachexpert*innen, die du erst in diesem Schritt hinzu holst. Schlussendlich fließen die Erkenntnisse in praxistaugliche Empfehlungen, mit denen das Projekt angepasst wird. 

Was tun bei schlechten Resultaten? 

Ein systematisches Monitoring während des Projekts sollte eigentlich verhindern, dass du von schlechten Ergebnissen überrascht wirst. Eigentlich. Denn natürlich kommt es in der Praxis häufig vor, dass manche Resultate nicht deinen Erwartungen entsprechen werden. 

Das kannst du tun: 

Durchforste die Daten, auf denen die Auswertung basiert, auf Abweichungen hin – es ist durchaus denkbar, dass es bei der Auswertung zu Ungenauigkeiten kam, die das Bild verzerren. Hilft das nichts, ordne das Resultat in den Gesamtkontext ein – hierbei hilft dir womöglich der Problembaum aus der Bedarfsanalyse. Eventuell stellt sich das Resultat dann doch besser dar als zunächst befürchtet? 

Kommst du auch so nicht weiter, informiere alle Stakeholder über den Stand der Dinge. Verdeutliche, warum Resultate hinter den Erwartungen zurückbleiben und welche Gegenmaßnahmen du planst. Im Idealfall unterstützen deine Geldgebenden dich beim Lern- und Verbesserungsprozess.

PAFF 

Die Evaluation bei PAFF ergibt, dass die mangelnden Sozialkompetenzen der Jugendlichen ein entscheidendes Hemmnis bei der Jobsuche sind. Daher entschließen sich Projektleitung und Förderstiftung gemeinsam, ein weiteres Projektmodul “Sozialkompetenztraining” aufzusetzen. 

Daten sinnvoll miteinander vergleichen

Der Gedanke, die eigene Arbeit mit der von anderen zu vergleichen, löst häufig Unbehagen aus – sei es, weil das eigene Projekt als einmalig wahrgenommen wird oder die (leider berechtigte) Befürchtung existiert, dass Geldgebende ihre Förderzusage ausschließlich anhand von Vergleichsergebnissen treffen. Aus diesem Grunde bieten rein quantitative Vergleiche keine gute Entscheidungsgrundlage. Vielmehr kommt es darauf an, die Daten zu interpretieren und mittels qualitativer Aussagen in einen Kontext einzubetten. 

Beispielsweise lassen sich Zahlenreihen zum Ausbildungsmarkt in strukturschwachen Regionen mit solchen in prosperierenden Landstrichen kaum vergleichen, ohne die Arbeitsmarktsituation im Ganzen zu berücksichtigen. Und trotzdem: Vergleiche sind ein zentraler Bestandteil der Datenanalyse. Nur mithilfe von Vergleichen können Ergebnisse bewertet, diskutiert und weiterentwickelt werden! 

Sie haben verschiedene Möglichkeiten, Daten miteinander zu vergleichen. In diesem Abschnitt stellen wir fünf Optionen vor und zeigen anhand des Projektbeispiels PAFF, welche Schlussfolgerungen sich daraus ergeben. 

PAFF 

Die Patenbetreuer*innen haben die Aufgabe, in regelmäßigen Abständen die Monitoringdaten zusammenzutragen, um diese dann an die Projektleitung weiterzuleiten. Um eine gleichbleibende Datenqualität sicherzustellen, werden die Patenbetreuer*innen insbesondere vor und kurz nach dem Projektstart geschult. Zudem überprüft die Projektleitung alle Daten auf ihre Plausibilität hin. 

1. Vorher-Nachher-Vergleich 

Bei Vorher-Nachher-Vergleichen werden Veränderungen im Zeitverlauf dargestellt. Du möchtest feststellen, ob sich bei den Schüler*innen innerhalb einer Schulklasse, die am Mathe-Nachhilfeangebot von PAFF teilnehmen, die Note geändert hat – und in welche Richtung. 

Mögliche Schlussfolgerungen: Der Notendurchschnitt der Teilnehmenden hat sich innerhalb von zwei Schuljahren um 0,6 verbessert (von 3,5 auf 2,9). Um nun festzustellen, inwieweit die Veränderung auf PAFF zurückzuführen ist, braucht es eine Vergleichsmöglichkeit. Beispielsweise können die Noten innerhalb einer Klasse verglichen werden (linke Spalte), zwischen projektteilnehmenden SchülerInnen (mittlere Spalte) und nicht-teilnehmenden (rechte Spalte). Anderenfalls wäre es sonst denkbar, dass sich die Noten der gesamten Klasse verbessert haben, weil sie etwa von einer neuen Mathelehrerin unterrichtet wurden.

2. Soll-Ist-Vergleich 

Soll-Ist-Vergleiche setzen die angestrebten Ziele mit den tatsächlichen Resultaten in Beziehung. 

Beispiel 1: Du möchtest feststellen, ob sich der Prozentsatz der Jugendlichen, die direkt nach dem Schulabschluss einen Ausbildungsplatz finden, wie erhofft entwickelt hat. 

Im ersten Jahr hat das Projekt seine Ziele nicht erreicht (Projektjahr 1, erste Zeile). Du könntest also erwägen, Projektinhalte und -abläufe zu optimieren. Gleichzeitig solltest du überlegen, ob die Ziele zu ambitioniert waren und ggf. angepasst werden müssen. Hier kann ein Vergleich mit ähnlichen Projekten hilfreich sein. 

Nachdem im zweiten Jahr der Soll-Wert erreicht wurde (zweite Zeile), ist die Übergangsquote im dritten Jahr wieder gesunken (dritte Zeile). Kein Grund zur Unruhe, aber zur Aufmerksamkeit. Die Gründe für das Verfehlen der Ziele können innerhalb oder außerhalb des Projekts liegen: Gab es einen Qualitätsverlust? Haben sich Bedarfe verändert, auf die reagiert werden sollte? Hat die Zahl der angebotenen Lehrstellen in der Region abgenommen? 

Hilfreich kann hier auch ein Blick auf den Problembaum sein. 

Beispiel 2: Du möchtest ermitteln, wie zufrieden die Pat*innen mit den Patenbetreuer*innen sind. 

40 Prozent der Pat*innen sind mit der Betreuung unzufrieden (Spalten 3+4). Auch ohne expliziten Soll-Wert ist das zu hoch. Woran kann die Unzufriedenheit liegen? Lässt sich herausfinden, ob es sich zum Beispiel um Pat*innen handelt, die in ein- und derselben Patengruppe sind? Was kann getan werden, um deren Zufriedenheit zu steigern? 

Beispiel 3: Du möchtest die Erwartungen der Teilnehmenden und Pat*innen mit den tatsächlich erreichten Ergebnissen vergleichen. 

Bei PAFF überlegen sich Pat*innen und Mentees gemeinsam, welche Verbesserungen sie bei der Mathe- und Deutsch-Note erreichen wollen. Angesichts der Ergebnisse könnten Patin oder Pate und Mentee zusammen überlegen: “Welche der gesteckten Ziele haben wir erreicht? Wo können wir uns auf die Schulter klopfen, an welcher Stelle müssen wir noch etwas tun? Braucht es zusätzliche Maßnahmen oder weitere Nachhilfeangebote?” 

ACHTUNG: Eine rein zahlenbasierte Erfolgsmessung kann dazu verleiten, nur noch mit Personen der Zielgruppen zu arbeiten, bei denen ein erfolgreicher Projektabschluss wahrscheinlich ist. 

3. Vergleiche zwischen verschiedenen Projektkonzepten 

Ein Projekt lässt sich meistens auf verschiedenen Wegen realisieren. Vergleicht man diese verschiedenen Wege miteinander, lässt das auch Rückschlüsse auf die Erfolgsfaktoren zu. Wurde etwa das Projektkonzept nach einer ersten Evaluation geändert, können die Ergebnisse der ersten Evaluation mit denen der zweiten Evaluation verglichen werden: Welche Veränderungen haben zu anderen bzw. besseren Resultaten geführt? 

Beispiel: Festgestellt werden soll, ob die Jugendlichen, die zusätzlich zu der Patenschaft noch ein Bewerbungstraining hatten, mehr Erfolg bei der Lehrstellensuche haben. 

Mögliche Schlussfolgerungen: Das zusätzliche Bewerbungstraining scheint einen positiven Effekt auf die Übergangsquote zu haben. Ein Gefühl, dass das so sein könnte, hatten die Projektverantwortlichen schon vorher. Die Daten bestätigen diese Vermutung nun. 

Wenn zunächst unklar klar ist, welchen Faktoren bei der Analyse tatsächlich relevant sind, ist Spürsinn gefragt: 

• Welche verschiedenen Bestandteile (Bewerbungstrainings, Nachhilfe) und Qualitätsfaktoren (ausgebildete Lehrkräfte) gibt es im Projekt? Lassen sich daraus Rückschlüsse auf die Erfolgskriterien ziehen? 
• Haben diejenigen, die einen Ausbildungsplatz fanden, ein Bewerbungstraining durchlaufen? 
• Waren die Jugendlichen, deren Schulnoten sich deutlich verbessert haben, diejenigen, die den Nachhilfeunterricht bei einer ausgebildeten Lehrkraft hatten? 

Im Beispiel von PAFF wurde beschlossen, die Nachhilfe durch ausgebildete Lehrkräfte zu bewerkstelligen anstatt, wie zuvor, durch Studierende. 

4. Vergleiche zwischen Zielgruppen 

Hilfreich sein kann auch die Differenzierung nach verschiedenen Zielgruppen bzw. Unterzielgruppen. 

Beispiel: Es soll festgestellt werden, ob alle (Unter-) Zielgruppen wie geplant erreicht werden. 

Mögliche Schlussfolgerungen: PAFF hatte während der Bedarfsanalyse Jugendliche mit Migrationshintergrund als Zielgruppe mit erhöhtem Förderbedarf identifiziert. Die Auswertung belegt, dass PAFF vor allem Jungen mit Migrationshintergrund erreicht, Mädchen mit Migrationshintergrund hingegen deutlich schlechter.

Hier ist nach den Gründen zu fragen: Spiegelt die Zahl die Verteilung und die Bedarfe in den derzeit betreuten Klassen wider? – Es kann ja durchaus sein, dass es in einer Jahrgangsstufe wenig Schülerinnen mit Migrationshintergrund gibt, die für die Teilnahme am Patenprojekt in Frage kommen. Oder muss überlegt werden, wie man gezielt bei dieser (Unter-) Zielgruppe eine Projektteilnahme fördern kann?

Tipp: Die Daten sind da. Und nun?

Wie man Daten geschickt und verständlich aufbereitet:

– Daten visualisieren: komplexe Botschaften pointiert vermittelt
– Daten visualisieren: für jede Botschaft das richtige Bild
– Datenvisualisierungstools im Überblick

5. Vergleiche zwischen Projekten/Benchmarking

Benchmarking ist eine besondere Form des Lernens zwischen Organisationen. Benchmark lässt sich übersetzen mit Maßstab oder Bezugsgröße. Mit Benchmarking ist ein kontinuierlicher Vergleich von Kosten, Resultaten oder Wirkungen mit vergleichbaren Projekten gemeint – eigener oder fremder. Benchmarking kann das gesamte Projekt umfassen oder, was sinnvoller ist, nur einen bestimmten Teilaspekt.

Von wenigen Ausnahmen abgesehen, wird es kaum ein Projekt geben, das sich mit überhaupt keinem anderen vergleichen lässt. Um ähnliche Projekte zu finden, helfen dir womöglich deine Rechercheergebnisse aus der Umfeldanalyse.

Tipp: Austausch suchen!

Halte die Augen gezielt nach Organisationen offen, die vergleichbare Projekte umsetzen. Vielleicht ergeben sich daraus Erkenntnisse, mit denen du deine eigenen Prozesse, Konzepte und Ergebnisse noch weiter verbessern kannst.

Willst du ein methodisch korrektes Benchmarking durchführen, wird das sehr schnell sehr aufwändig (und sprengt den Rahmen dessen, was wir hier vorstellen können). Wir möchten aber einen Grundgedanken aufgreifen: Benchmarking kann eine Orientierungshilfe für die eigene Weiterentwicklung sein, weil du es für das Mit- und Voneinanderlernen nutzen kannst.

Beispiel: Vergleich der Übergangsquoten in Ausbildung von drei Projekten

Mögliche Schlussfolgerungen: Der Vergleich mit zwei anderen Projekten ergibt, dass diese höhere Übergangsquoten erzielen als PAFF. Deswegen ist zunächst zu ermitteln, ob die Ansätze tatsächlich vergleichbar sind: Arbeiten alle Projekte in derselben Region bzw. in miteinander vergleichbaren Regionen? Ist das Ergebnis repräsentativ oder sticht der untersuchte Jahrgang durch besondere Ergebnisse heraus?

Im zweiten Schritt sucht PAFF den Austausch mit den anderen Projekten, um herauszufinden, was deren Erfolgsfaktoren sind und inwieweit sich diese adaptieren lassen, z. B. über zusätzliche Trainings, Praktikumsangebote, eine längere oder intensivere Betreuung.

Tipp: Keine falschen Schlüsse!

In Analysen spielen häufig persönliche Grundannahmen und Wertevorstellungen hinein. So kann etwa die Entscheidung einer Jugendlichen, Friseurin zu werden, von jemandem, der einer akademischen Laufbahn einen höheren Wert beimisst, als unbefriedigendes Ergebnis gewertet werden. Solche Fehleinschätzungen lassen sich nie gänzlich vermeiden, aber es hilft, sie sich zu vergegenwärtigen.

3. Wirkung verbessern

Nach Abschluss des Projekts reflektierst du gemeinsam mit allen Beteiligten, ob und inwieweit das Ziel erreicht wurde und wie die Umsetzung verlaufen ist. Ihr diskutiert, was ihr beim nächsten Mal anders machen könnt und notiert diese Ideen im Projektbericht. 

Lernen und verbessern 

Hier erfährst du: 

• warum Lernen für die wirkungsorientierte Projektarbeit wichtig ist. 
• was eine lernende Organisation ausmacht. 
• wie du aus den Ergebnissen deiner Wirkungsanalyse lernen und Verbesserungen ableiten kannst. 
• wie du ins Straucheln geratene Projekte erkennst und optimierst. 

Schon während des laufenden Projekts hast du dich regelmäßig mit deinen Mitstreitenden ausgetauscht und nach ihrem Befinden gefragt, um zeitnah auf Probleme und Reklamationen reagieren zu können. 

Im Projektalltag bedeutet Lernen, dass du dich regelmäßig und kritisch mit den Ergebnissen aus der Wirkungsanalyse auseinandersetzt: Ob und inwieweit bewegt sich das Projekt (noch) in Richtung seiner angestrebten Wirkungsziele? 

Eine Organisation, die Daten monitort und ihr Projekt evaluiert, aber die Ergebnisse weder hinterfragt noch aus ihnen lernt, läuft Gefahr zu stagnieren und wie bisher weiterzuarbeiten, auch wenn die erwünschten Wirkungen ausbleiben. 

Was bringt Lernen?

Gemeinsames Lernen …

• verbessert Prozesse und Abläufe,
• begünstigt die Wirkung deines Projekts.
• hilft, Wissen aufzubauen und zu teilen.
• hilft, begründete Entscheidungen zu treffen.
• trägt zur Motivation bei.

Lernen ist damit eine zentrale Voraussetzung für Qualität, Wirkung und Weiterentwicklung deines Projekts. Ohne Lernen keine Wirkung!

Wie wirkungsorientiertes Lernen in der Praxis aussieht, zeigen wir dir in den folgenden Abschnitten. Dabei gehen wir zunächst auf die Voraussetzungen ein, die es auf Organisationsebene braucht. Danach skizzieren wir, wie Lernen innerhalb einer Organisation sowie Lernen zwischen Organisationen funktionieren kann. Zuletzt erklären wir, woran du erkennst, dass sich dein Projekt in Schieflage befindet und was du dann tun kannst.

Lernumfeld schaffen: organisiertes Lernen im Projektalltag

Um effektiv aus der Wirkungsanalyse lernen zu können, brauchst du nicht nur Daten, sondern auch ein lernförderndes Umfeld.

Ein solches umfasst …

• eine motivierte Projektleitung,
• Ressourcen,
• eine Lern- und Fehlerkultur,
• feste Aufgaben und Verantwortlichkeiten,
• das Wissensmanagement und
• den transparenten Umgang mit Informationen.

Daueraufgabe: Lernen ist kein einmaliges oder punktuelles Ereignis. Lernen ist ein dynamischer Prozess, der während des gesamten Projektzyklus stattfindet.

Ein lernfreudiges Umfeld zeichnet sich dadurch aus, dass Lernanreize geschaffen werden und Informationen leicht zugänglich sind. Hierfür muss die Leitungsebene die notwendigen Ressourcen zur Verfügung stellen – in erster Linie ist das Zeit, die die Mitarbeitenden für gemeinsames Reflektieren benötigen.

Lernen verursacht aber auch Sachkosten, wenn zum Beispiel ein Wissensmanagementsystem aufgebaut werden soll oder externe ExpertInnen hinzugezogen werden.

Die Lernkultur sollte dabei Hand in Hand mit einer Fehlerkultur gehen. Das heißt, Fehler und Schwächen werden akzeptiert mit dem Ziel, daraus zu lernen und sich zu verbessern. In vielen Organisationen gelten Fehler als etwas, über das man nicht spricht. Diese Einstellung ist aber bereits der erste Fehler. 

Fehlerkultur ist, wenn aus der Frage “Wie konnte das passieren?” kein Vorwurf entsteht, sondern ein Arbeitsauftrag. Die Mitarbeitenden müssen das Gefühl haben, zu Diskussionen ermutigt zu werden und offen sprechen zu können. Werden Fehler lediglich dafür benutzt, um Verantwortliche zu finden und abzustrafen, ist ein offener Austausch kaum möglich. In solchen Fällen werden die Mitarbeitenden Wirkungsanalysen als bloßes Kontrollinstrument empfinden.

Eine weitere Komponente, die Lernen fördert, ist eine Organisationsstruktur mit definierten Rollen und Verantwortlichkeiten:

• Wer sammelt die Informationen?
• Wer bereitet sie auf?
• Wer sorgt dafür, dass die Ergebnisse intern publik werden?

Das zu dokumentieren ist gerade in gemeinnützigen Organisationen mit vielen (ehrenamtlichen) Mitarbeitenden wichtig, die nicht immer anwesend sind oder häufiger wechseln. Um sicherzustellen, dass die Lernergebnisse auch langfristig für die Organisation verfügbar sind, ist ein Wissensmanagement hilfreich, das den Zugang zu und das Sammeln von Informationen erleichtert. Ein Wissensmanagement lässt sich auch mit einfachen Mitteln realisieren.

Wissensmanagement in gemeinnützigen Organisationen

Wie du den Erhalt und die Wiedergabe des Know-hows in deiner Organisation sicherstellst, darauf können wir an dieser Stelle nicht eingehen – dazu ist das Thema zu umfangreich. Für größere Organisationen empfiehlt sich, dass das Wirkungsmanagement in einer Stabsstelle oder bei einer qualifizierten Mitarbeiterin gebündelt wird. In diesem Zusammenhang könnte sich unsere Weiterbildung zum/zur Wirkungsmanager*in lohnen:

Lernende Organisationen zeichnen sich ebenfalls durch eine hohe Transparenz aus, d.h. alle relevanten Informationen, Prozesse, Leistungen und Wirkungen werden gegenüber den Mitarbeitenden wie auch externen Stakeholdern zugänglich gemacht. Dazu mehr im Abschnitt “Geschichten fürs Gute”, hier nur soviel: Transparenz fördert das Lernen, und gleichzeitig legitimiert sie deine Arbeit, da deutlich wird, was du erreicht hast und wo das Geld geblieben ist.

Arbeitest du in einer lernenden Organisation?

Die folgenden Aspekte liefern einen Schnellüberblick, inwieweit deine Organisation eine lernende Organisation ist:

• Die Organisations- oder Projektleitung stellt sicher, dass das Lernen fester Bestandteil im Projektalltag ist. Sie sorgt für die notwendigen Voraussetzungen, setzt Anreize und sorgt für die Umsetzung.
• Im Team nehmt ihr euch Zeit, um über die Arbeit zu reflektieren. Es gibt regelmäßige, verpflichtende Treffen, für die im Vorfeld jeweils eine Agenda existiert.
• Es gibt fest definierte Verantwortlichkeiten und Prozesse, wie Ergebnisse festgehalten werden und Wissen geteilt wird.
• Die Erkenntnisse werden zeitnah implementiert und verschwinden nicht in der Ablage. Die Leitungsebene schiebt Veränderungen an und achtet auf deren Umsetzung.
• Ihr lernt aus Fehlern. Die Organisation arbeitet konstruktiv und vorwärtsgewandt; Schuld- und Verantwortlichkeitsfragen sind nachrangig und werden allein auf der Sachebene geführt.
• Du holst Feedback von Partner*innen ein – am besten in anonymisierter Form, weil das die Wahrscheinlichkeit erhöht, dass du viele und ehrliche Rückmeldungen erhältst.
• Nicht zu vergessen: So wichtig das Lernen aus Fehlern ist, so wichtig ist es auch, gemeinsame Erfolge zu feiern! Erreichte Meilensteine und Ziele bieten dafür immer einen Anlass.
• Falls du unsicher bist, an welcher Stelle du stehst, kannst du auch das Wirkometer befragen. Das Wirkometer gibt u.a. auch eine Auskunft, wie lernorientiert deine Organisation aufgestellt ist.

Lernkultur bei PAFF

PAFF startete als kleines Projekt: Alle wussten alles. Mit der wachsenden Zahl der Pat*innen und Pat*innengruppenbetreuenden ändert sich das nun. Der Vorstand beschließt daher, regelmäßige Workshops zu veranstalten, in denen die Beteiligten ihr Wissen austauschen. Zugleich benennt er einen Verantwortlichen, der den Know-how-Transfer im Blick behält. Dieser dokumentiert Protokolle, Unterlagen und Beschlüsse im Intranet und sendet regelmäßig Info-Mails an alle Mitarbeitenden.

Die Pat*innen werden ermutigt, auch von Misserfolgen zu berichten und diese in der Gruppe zu diskutieren. Zu Beginn der Treffen erzählt jede*r kurz, was ihn oder sie bewegt. Dabei werden die Punkte: “Das hat mich besonders gefreut. / Das hat besonders gut geklappt.” und “Hier war ich unzufrieden. / Das hat nicht geklappt. / Hier gab es Probleme. / Eine Herausforderung für mich ist …” thematisiert. Auf diese Weise entsteht eine Kultur des von- und miteinander Lernens.

Lernen in der Organisation und mit Dritten

Die schnellste, beste und meistens unaufwändigste Möglichkeit, um mit- und voneinander zu lernen, sind regelmäßige Treffen. Wie oft ihr euch trefft und mit wem, ist abhängig davon, was die Daten aus der Wirkungsanalyse ergeben – und auch davon, welche Aspekte du konkret diskutieren möchtest. Lernrunden kannst du sowohl auf Basis der Monitoringdaten einberufen als auch auf Grundlage von Evaluationsergebnissen.

Lernrunden auf Basis von Monitoringdaten sollten regelmäßig stattfinden, schließlich liegen dir auch regelmäßig neue Daten vor, die ausgewertet sein wollen. Bei diesen Treffen geht es vor allem darum, das laufende Projekt anhand der Monitoringdaten und gemachter Erfahrungen zu diskutieren – am besten im Team.

Mit Blick auf die Monitoringdaten helfen dir folgende Fragen:

• Inwiefern hast du deine Ziele erreicht und an welchen Stellen nicht? Und warum?
• Inwieweit weichst du von geplanten Ergebnissen ab?
• An welchen Stellen musst du die Ergebnisse genauer betrachten und Ursachen ermitteln, z. B. mithilfe einer Evaluation?

Lernrunden auf Grundlage von Evaluationen finden in deutlich größeren Abständen statt. Da sich eine Evaluation mit Ursachen und Zusammenhängen auseinandersetzt, ermöglicht dies auch tiefergehende Diskussionen und Lernprozesse. Beim Lernen aus Evaluationsergebnissen beschäftigst du dich nicht nur damit, ob deine Aktivitäten im Plan sind, sondern stärker auch mit dem Plan selbst.

Du kannst Schlussfolgerungen und Handlungsempfehlungen für die künftige Ausrichtung besprechen und zugleich die Wirkungsziele und die Wirkungsanalyse selbst in den Fokus rücken:

• Müssen Ziele neu definiert werden?
• Welche Auswirkungen auf das Projektmanagement ergeben sich daraus?
• Hat sich die Wirkungsanalyse als praktikabel erwiesen und hast du die erhofften Erkenntnisse gewonnen?

Als Diskussionsgrundlage für weitergehende Debatten benötigst du aggregierte Ergebnisse, etwa Projektabschlussberichte.

Mögliche Fragen, denen ihr gemeinsam nachgehen könnt:

• Was waren die größten Erfolge?
• Gab es Fehler? Welche Chancen habt ihr verpasst?
• Wo sollten Aktivitäten angepasst werden? Wie wettbewerbsfähig sind die Angebote noch?
• Wurden Erfolgsparameter identifiziert?
• Funktioniert die Wirkungslogik in der Praxis? Muss sie weiterentwickelt werden? Sind die Annahmen, auf denen dein Projekt fußt, richtig?

Regelmäßiges Reflektieren und Lernen sind vor allem für das Projektteam relevant – denkbar ist aber auch, externe Stakeholder einzubeziehen. Stakeholder einzubeziehen ist durchaus angebracht. Erstens bringen diese verschiedene Erfahrungen und Sichtweisen ein, was sich wiederum günstig auf den Lernprozess auswirkt.

Vor allem aber geht es darum, deren Erwartungen einzufangen und sie dazu zu bringen, etwaige Projekt- und Zielanpassungen mitzutragen (und zu finanzieren). Wer deine Stakeholder sind, hattest du in der Bedarfs- und Umfeldanalyse ermittelt.

PAFF: Zu wenig Zeit? Mehr Pat*innen!

PAFF wertet in regelmäßigen Treffen aktuelle Monitoringdaten aus, gleicht diese mit Erfahrungswerten ab und zieht daraus Rückschlüsse. Die Auswertung ergibt, dass die Nachfrage nach Patenschaften zunimmt, zugleich aber die Zufriedenheit der Jugendlichen mit der Betreuungsqualität sinkt.

Als Ursache nennen einige Pat*innen eine zeitliche Überforderung: Sie sind angehalten, interessierten Jugendlichen Schnupperstunden zu ermöglichen, nur fehlt diese Zeit dann für die Arbeit im Projekt. Gemeinsam überlegt die Gruppe, wie sich dieses Dilemma beheben lässt. Sie gelangt zu dem naheliegenden Schluss, dass zusätzliche Pat*innen gewonnen werden müssen, um die Nachfrage zu befriedigen.

Monitoring- und Evaluationsergebnisse können nicht nur für das Lernen innerhalb einer Organisation genutzt werden. Sie dienen auch für einen Austausch zwischen verschiedenen Organisationen, insbesondere zwischen Organisationen, die ähnliche Projektansätze verfolgen oder sich an die gleichen Zielgruppen richten.

Der Austausch kann dabei helfen, wesentliche Erfolgs- und Qualitätskriterien für deine Zielgruppe zu definieren, aber auch verdeutlichen, welche Erwartungen und Ziele realistisch sind. Nebenbei identifizierst du womöglich Angebotslücken, die du mit passenden Angebote füllen kannst?

Die beste Art des gemeinsamen Lernens liegt im persönlichen Austausch. Aber natürlich es ist auch möglich, indirekt von anderen zu lernen – vorausgesetzt, alle Beteiligten berichten transparent über ihre Arbeit, über Ergebnisse und Erfahrungen. (Hierzu mehr im Abschnitt “Über Wirkung berichten”.)

Gute Entscheidungen treffen und umsetzen

Bei der Wirkungsanalyse ging es darum, Erkenntnisse zu gewinnen, die dir helfen, das Projekt noch besser in Richtung der Wirkungsziele steuern zu können. Im nächsten Schritt kommt es darauf an, ins Tun zu kommen und die Erkenntnisse in die Praxis umzumünzen. Das Einleiten konkreter Handlungsschritte bildet zugleich den Abschluss wirkungsorientierter Steuerung.

Aber Achtung: Abschluss ist hier nicht als tatsächliches Ende zu verstehen! Mit der Anpassung von Prozessen, Aktivitäten und Zielvorgaben beginnt ein neuer Kreislauf, in dessen Verlauf die Aktivitäten und Ergebnisse wiederum überprüft, untersucht und angepasst werden – denn nur durch immer wiederkehrendes Planen, Überprüfen und Anpassen kommst du deinen Zielen näher.

Ein probates Hilfsmittel für das strukturierte Lernen und Umsetzen ist der Action Learning Cycle:

Du kannst den Action Learning Cycle für das gesamte Projekt wie auch für einzelne Projektbausteine anwenden, etwa Seminarmodule oder Veranstaltungen. Prinzipiell kann der Lernzyklus an jedem der vier Punkte beginnen.

Wenn du die Ergebnisse verschriftlichst, hast du hinterher Projekt- und Erfahrungsbericht in einem. Dieses Dokument kannst du für Änderungen im laufenden Projekt oder auch für Nachfolgeprojekte heranziehen.

Drei Hinweise noch zur Umsetzung:

1. Es ist allen Organisationen möglich, aus Ergebnissen der eigenen Arbeit zu lernen – Größe und Budget spielen dabei keine Rolle!
2. Selbst, wenn dir nur wenige Daten vorliegen oder die Daten keine tiefergehenden Erkenntnisse zulassen, werden die Entscheidungen dennoch reflektierter sein als ein bloßes Bauchgefühl.
3. Lernen und Verbessern gehören untrennbar zusammen! Nichts ist frustrierender, als zu wissen, dass etwas nicht funktioniert, und trotzdem so weiterzumachen wie bisher.

PAFF vergrößert das Angebot

Bei PAFF findet ein jährliches Strategietreffen statt, in dem es um die Erhebung und Auswertung der Monitoringdaten geht. Neben der Projektleitung sind auch Pat*innen, Teilnehmende und Geldgebende eingeladen. Die Gruppe bespricht, inwieweit die gesetzten Ziele erreicht wurden und was sich noch verbessern ließe.

Am Ende ist sich das Plenum einig, den Schwerpunkt auf zusätzliche Bewerbungstrainings zu legen und ein entsprechend größeres Angebot an Coachings zu schaffen.

Probleme erkennen und gegensteuern

Fast jedes Projekt gerät irgendwann ins Stottern und braucht kleinere Kurskorrekturen, um wieder ins Laufen zu kommen. Solche Anpassungen liegen in der Natur der Sache und sind kaum der Rede wert. Wirklich gefährlich wird es aber, wenn Stillstand droht, denn das gefährdet nicht nur die Wirkungsziele, sondern auch die investierten Projektmittel und die Motivation aller Beteiligten.

Es gibt viele Symptome und Warnsignale, die solche Krisen ankündigen:

• Mangelhafte Dokumentation: Die Berichte, die intern produziert werden, entsprechen nicht (mehr) der Norm, sie sind unvollständig oder inhaltlich unsauber, bleiben ohne Bezug, anstelle von Resultaten und Wirkungen gibt es weitschweifige Erläuterungen zum großen Ganzen.
• Falsche Hoffnungen: Entgegen den Erwartungen gelingt es über einen längeren Zeitraum nicht, Etappen und Ziele zu erreichen, die Zielgruppen anzusprechen, intern relevante Kompetenzen aufzubauen, weitere Projektpartner*innen zu finden etc.
• Missmanagement: Entscheidungen werden immer wieder verschoben, Veränderungen abgelehnt (“Bisher hat es doch auch so funktioniert”). Mittel werden immer wieder umgewidmet, Ziele regelmäßig nicht erreicht, eine Fehler- und Lernkultur existiert nur auf dem Papier.
• Schlechtes Erscheinungsbild: Verantwortungsbereiche sind nicht eindeutig definiert und das Personal wechselt ständig. Mitarbeitende sind lustlos; Krankschreibungen und Fehlzeiten erreichen einen Höchststand; Ehrenamtliche lassen sich kaum mehr blicken.

Diese Aspekte stellen natürlich keine erschöpfende Auflistung dar. Und häufig gibt es auch nicht nur einen Grund, der für die Schieflage eines Projekts verantwortlich ist, sondern eine ganze Kette von Entwicklungen. Aber wenn eines oder mehrere der obigen Warnsignale aufleuchten, solltest du rasch und nachdrücklich aktiv werden.

Je früher ihr euch im Team mit den Ursachen für die Krise auseinandersetzt, desto besser sind die Aussichten, das Projekt wieder auf Kurs zu bringen. Voraussetzung hierfür sind absolute Ehrlichkeit, ein nüchterner Realitätssinn und Kenntnisse zum IST-Zustand des Projekts. Erst, wenn ihr die Gründe für die Krise kennt, ein Bild über die aktuelle Situation besitzt und außerdem Optionen abwägen könnt, werden ihr auch Lösungsansätze finden.

Die anschließende Intervention solltest du ebenfalls bewusst planen:

• Gewinne Klarheit über das Ausmaß des Problems. Was läuft deiner Ansicht nach schief und wie lässt sich das Projekt wieder in die Erfolgsspur zurückbringen?
• Besprecht im Team Erwartungen und Ziele im Hinblick auf eine gelungene Fortführung des Projekts – und redet erst dann über die Schwierigkeiten.
• Benenne Probleme, aber umschiffe die Schuldfrage. Der Dialog sollte an eine konstruktive Lernkultur anknüpfen: Bisherige Schwachpunkte werden klar kommuniziert, aber die Diskussion ist grundsätzlich zukunftsorientiert und erfolgt partnerschaftlich. Wirkungsorientiertes Arbeiten heißt nämlich auch, dass alle wertschätzend und verantwortungsvoll miteinander umgehen.
• Wenn Projekte unrund laufen, liegt das oft auch an unscharfen Zielen. Es könnte helfen, wenn ihr in eine erneute Diskussion über gemeinsame Projektziele einsteigt. Verliert euch aber nicht in Details, sondern konzentriert euch auf das Wesentliche und betrachtet das Projekt, indem ihr einen Schritt zurücktretet. Womöglich macht sich hier der Blick einer externen Person bezahlt.
• Häufig haken Projekte, weil innerhalb der Organisation schlicht Kompetenzen in bestimmten Bereichen fehlen. In diesem Fall könntet ihr euer Netzwerk einbinden, Weiterbildungen ins Auge fassen oder den Kontakt zu anderen Organisationen herstellen.

Um ein ins Straucheln geratenes Projekt wieder auf den Weg zu bringen, kommt es letztlich darauf an, dass alle Beteiligten zuversichtlich bleiben und die Nerven behalten.

Wirkung verbreiten: Denke groß!

Wenn du mithilfe der Wirkungsanalyse festgestellt hast, dass dein Projekt wirkt, kann eine Verbreitung – eine sogenannte Skalierung – in andere Regionen dazu beitragen, noch mehr Menschen zu erreichen und dadurch auch noch mehr Wirkung zu erzielen.

Indem du dein Projekt und deine Erfahrungen mit Dritten teilst, trägst du erheblich zur Stärkung des gemeinnützigen Sektors bei! Heute investierst du – morgen profitierst du womöglich davon, dass andere dich an ihrem Wissen teilhaben lassen.

Tipp: Wissen teilen, Projekte verbreiten

Äußerst wertvolle Hilfe für Stiftungen und Projekte, die über eine Verbreitung wirksamer Ideen und Lösungsansätze nachdenken, bietet der Leitfaden “Gemeinsam wirken – Auf dem Weg zu einer wirkungsvollen Zusammenarbeit” der Bertelsmann Stiftung.

Zwei gute Gründe sprechen für die Verbreitung wirksamer Projekte:

1. Ressourcen schonen: Dieselbe Lösung für dasselbe Problem immer wieder neu zu entwickeln, kostet Mittel, die an anderer Stelle gewinnbringender investiert wären. Wenn bewährte Ansätze übernommen werden, sparen sich alle Beteiligten Umwege und Kosten für die Projektentwicklung.
2. Gemeinsam mehr erreichen: Werden Leuchtturmprojekte an mehreren Orten und gemeinsam mit Partner*innen umgesetzt, ergeben sich erhebliche Synergie- und Lerneffekte. So wird das Projekt qualitativ noch erfolgreicher. Und anpassungsfähige Projekte mit hoher Wirksamkeit – das ist es, was die Zivilgesellschaft braucht!

Wenn du mit einer Verbreitung deines Projekts liebäugelst, solltest du dich zunächst folgenden Fragen widmen:

• Bedarf: Gibt es auch an anderen Orten einen Bedarf für das Projekt und die Bereitschaft, Geld und Zeit in das Projekt zu investieren?
• Überzeugung und Bereitschaft: Hast du selbst die Bereitschaft und die notwendige Erfahrung, um dein Projekt zu transferieren? Hat deine Organisation die personellen und finanziellen Ressourcen für einen Transfer?
• Erfolgreiches Modell: Kennst du die wichtigsten Faktoren für den Erfolg des Projektes? Ist dein Projektkonzept so einfach und standardisierbar, dass es von anderen Personen und in anderen Regionen realisiert werden kann? Kannst du die Wirksamkeit und den Erfolg des Projektes überzeugend (!) nachweisen?

Die letzte Frage bezieht sich darauf, dass sich längst nicht jedes erfolgreiche Projekt für eine Verbreitung eignet. Um herauszufinden, ob und inwiefern dein Projekt zur Skalierung taugt, musst du die Wirkungslogik deines Projektes bemühen und die Ergebnisse der Wirkungsanalyse zurate ziehen:

• Worin besteht das Problem, das du lösen möchtest?
• Wie löst du das Problem mit Blick auf die Zielgruppe? Welche Kriterien sind entscheidend dafür, dass das Projekt bei einer bestimmten Teilzielgruppe wirkt?
• Wodurch kannst du nachweisen, dass das Projekt auch andernorts erfolgreich und wirksam sein kann?
• Was sind entscheidende (ortsgebundene) Erfolgsfaktoren? Welche Qualitätskriterien müssen vorliegen, um das Projekt bestmöglich zu skalieren?

Erst, wenn du hierauf belastbare Antworten gefunden hast, lohnt es sich, über eine Skalierung nachzudenken. Merke: Ohne Wirkungslogik kein Projekttransfer!

Kleiner Exkurs: Gemeinsam Wirken

Wenn verschiedene Akteure miteinander arbeiten, kann daraus etwas sehr wertvolles entstehen – für die beteiligten Partner*innen sowieso, aber auch für die Zielgruppen und die gesamte Gesellschaft. Voraussetzung dafür ist, dass die Organisationen wirklich gemeinsam wirken – also nicht nur irgendwie miteinander kooperieren, sondern zielgerichtet, systematisch und gegebenenfalls sogar sektorübergreifend mit anderen Akteuren darauf hinarbeiten, zusammen ein soziales Problem zu beheben.

Der Ansatz des Gemeinsamen Wirkens stammt aus den USA, wo er als Collective Impact bekannt ist. Er folgt der Idee, dass komplexe gesellschaftliche Aufgaben sich nur bewältigen lassen, wenn alle systemrelevanten Akteuren aus Politik, Wirtschaft und Zivilgesellschaft zusammenarbeiten.

Das Konzept setzt darauf, dass sich Akteure aus unterschiedlichen Bereichen vernetzen und verbindlich auf gemeinsame Ziele einigen, um durch die Zusammenarbeit die Wirkung zu vervielfachen.

Auch in Deutschland gibt es auf lokaler Ebene inzwischen viele erfolgreiche Projekte, bei denen unterschiedliche Akteure an einem Strang ziehen, etwa im Bereich der Flüchtlingshilfe. Ausführlich beschrieben wird das Konzept im oben genannten Ratgeber der Bertelsmann Stiftung.

Verbreitungsmethoden

Wenn es darum geht, möglichst viele Menschen mit deinem Projekt zu erreichen, können unterschiedliche Wege zum Ziel führen: Du kannst ein Handbuch erstellen und es kostenlos ins Internet stellen, du kannst das Projekt über Kooperationsverträge an Partner*innen weitergeben oder du transferierst es selbst in andere Regionen.

Welche Strategie die richtige ist, findest du anhand der folgenden Fragen heraus:

• Bist du bereit, deinen Ansatz mit anderen zu teilen und damit notwendigerweise auch Kontrolle abzugeben? Oder ist es für dich wesentlich, die uneingeschränkte Kontrolle über den Projektansatz und dessen Umsetzung zu behalten?
• Wie viel Zeit und Geld kannst du investieren? – Jeder Projekttransfer hat seine Kosten: Handbücher müssen geschrieben, neue Partner*innen gefunden, Verträge geschlossen werden. Auch wenn sich die Transferkosten nicht auf Euro und Cents im Voraus berechnen lassen, so ist die Frage, inwiefern dir für den Projekttransfer Finanzen zur Verfügung stehen, vermutlich maßgebend für deine Entscheidung.

Tipp: Standards

Die Bedingungen in anderen Regionen werden vermutlich von der Situation bei Ihnen vor Ort abweichen. Wägen Sie gut ab, welche Qualitätsstandards unabdingbar sind und welche nicht. Im Allgemeinen gilt: Je einfacher und standardisierter ein Projekt ist, desto eher eignet es sich für eine Verbreitung.

Mit den Antworten auf diese beiden Fragen kannst du die passende Verbreitungsstrategie in der folgenden Matrix auswählen:

Zur Erläuterung: “Wissenstransfer” und “Kooperation mit Verträgen” beziehen sich auf die Weitergabe des Projekts an andere. “Kapazitätserweiterung” und “strategische Ausdehnung” hingegen beziehen sich auf die Verbreitung innerhalb der Organisation.

Die Vor- und Nachteile der einzelnen Methoden im Detail:

• Wissenstransfer

Wenn Sie Ihr Projekt durch Wissenstransfer verbreiten, heißt das, dass Sie Ihr Projektkonzept anderen Organisationen frei zur Verfügung stellen. Diese setzen das Konzept dann eigenverantwortlich in vergleichbarer Form bei sich vor Ort um; Sie selbst beraten die Projektnehmenden allenfalls bei der Implementierung.

Diese Form der Skalierung ist im gemeinnützigen Sektor stark verbreitet. Sie ist kostengünstig und ermöglicht eine schnelle Verbreitung und optimale Anpassungsmöglichkeiten des Konzepts an lokale Gegebenheiten. Dafür bietet sie den Projektgebenden aber kaum Kontrollmöglichkeiten.

• Kooperation mit Verträgen

Sie können Ihr Projekt auch mittels Kooperationsverträgen weitergeben. Unterschieden werden vier Vertragstypen: Weitergabe innerhalb von Netzwerkverbänden, Lizenz-, Social-Franchise- oder Joint-Venture-Verträge.

Die Verträge regeln gegenseitige Rechte und Pflichten, z.B. die Bereitstellung von Ressourcen und Know-how durch die projektgebende Organisation oder Berichtspflichten, Lizenzkosten und Qualitätsstandards für diejenigen, die das Projekt umsetzen.

Bei Kooperationen mittels Verträgen kann die projektgebende Organisation stärker gestalten, gleichzeitig erfordert die Kooperation standardisierte Abläufe, die häufig kostenintensiv sind und weniger Spielräume für lokale Anpassungen lassen.

• Kapazitäten in einer Region erweitern

Ein Projekt zu verbreiten muss nicht zwangsläufig bedeuten, dass Sie Ihren Ansatz weitergeben. Vielleicht möchten Sie die Wirksamkeit Ihres Projekts in einer Region vergrößern, in der Sie bereits tätig sind, und zwar ohne gleich an eine überregionale Verbreitung zu denken.

Viele Projekte tun genau das: regional wachsen – also zunächst an einem Standort – und bestehende Prozesse und Strukturen optimieren, sodass mit der gleichen Menge an Ressourcen mehr Menschen erreicht werden. Um erst, wenn das funktioniert, kontrolliert ins Überregionale zu wachsen. Dieses Vorgehen birgt ein hohes Maß an Kontroll- und Gestaltungsmöglichkeiten.

• Strategische Ausdehnung

Um mehr Menschen auch in anderen Regionen zu erreichen, können Sie auch Filialen Ihrer Organisation an anderen Standorten eröffnen. Eine strategische Ausdehnung eines Projekts kann auch bedeuten, dass Sie Ihre Aktivitäten auf andere Zielgruppen ausdehnen oder um ergänzende Angebote erweitern.

Unabhängig davon, für welche Verbreitungsmethode Sie sich entscheiden, ist eines ganz wesentlich: Die Haltung, mit der Sie dabei zu Werke gehen.

Skalierung – eine Frage der Haltung

Projekte zu verbreiten bedeutet häufig auch, sich öffnen zu müssen, auf andere Akteur*innen zuzugehen und das eigene Interesse nicht über die Interessen anderer zu stellen.

Im Falle einer Kooperation etwa erfordert eine auf beiderseitigen Gewinn ausgerichtete Zusammenarbeit, sowohl den eigenen Vorteil als auch den der Partnerorganisation im Blick zu behalten – also die jeweiligen Wünsche angemessen zu berücksichtigen, ohne dabei die Wirkungsziele im Ganzen oder zentrale Qualitätsstandards aus den Augen zu verlieren.

Natürlich ist das ein Balanceakt, der nicht nur Qualitäten im Projektmanagement erfordert, sondern auch reichlich diplomatisches Geschick. Genauso wahr ist aber auch, dass gelungene Kooperationen erheblich zum Renommee aller Beteiligten beitragen. Organisationen, die gemeinsam mit anderen komplexe Projekte bewältigen, schärfen ihr Profil und machen sich gegenüber potenziellen GeberInnen attraktiv.

PAFF: Skalierung per Handbuch

Der Erfolg von PAFF spricht sich herum, denn erfolgreiche Lösungen gegen Jugendarbeitslosigkeit sind auch andernorts gefragt. Mehr und mehr Kooperationsanfragen landen bei PAFF.

Gemeinsam mit dem Vorstand überlegt die Projektleitung, wie sie mit den Anfragen umgeht: Einerseits soll PAFF in möglichst vielen Regionen eigenständig angeboten werden, andererseits ist dem Vorstand wichtig, die Qualität sicherzustellen.

Mangels Zeit und Geld entscheidet sich der Vorstand dafür, ein ausführliches Handbuch zu schreiben, mithilfe dessen er das Wissen weitergibt. Hierfür kommen ihm vor allem die Ergebnisse aus der Wirkungsanalyse zupass, in der die wichtigsten Erfahrungen und Qualitätsaspekte dokumentiert sind.

In der Folge wird das Projekt PAFF nun auch von anderen Organisationen und an anderen Orten angeboten. Einmal jährlich treffen sich alle “Franchise”-Partner*innen mit dem PAFF-Team zum Erfahrungsaustausch. Das Wissen wird dokumentiert und allen Interessierten zur Verfügung gestellt.

Über Wirkung berichten

Hier erfährst du:

• wie du in Eigenregie eine Kommunikationsstrategie entwickelst.
• auf was du beim Erstellen von schriftlichen Projektberichten achten solltest.
• wie du pointiert über die Wirkung deines Projekts berichten kannst.

Nach Abschluss deines Projektes blickst du zurück und berichtest nun ausführlicher. Je nachdem, mit wem du sprichst, wirst du die Inhalte und die Art, wie du berichtest, unterscheiden. Einigen Gesprächspartner*innen reichen ein paar allgemeine Infos – und andere wollen ausführlich wissen, welche Stolpersteine und neuen Erkenntnisse es gab.

Über die Ergebnisse deiner Projektarbeit solltest du sachlich korrekt und je nach Zielgruppe etwas detaillierter berichten. Das Kommunizieren über dein Projekt hilft dir nicht nur dabei, zu lernen und Verbesserungen anzustoßen. Vielmehr legitimierst du damit deine Arbeit – gegenüber Geldgebenden ebenso wie gegenüber der Öffentlichkeit.

Manche Projekte scheuen den Weg an die Öffentlichkeit, weil ihnen die Mittel und/oder Kompetenzen fehlen, weil sie fürchten, dass ihre Ergebnisse nicht gut genug sind oder weil sie die Projektarbeit als wichtiger erachten.

So nachvollziehbar diese Motive jeweils sind, widersprechen sie jedoch dem Verständnis wirkungsorientierter Projektarbeit:

• In der Kommunikation nach außen schafft Transparenz Nähe und Vertrauen.

Die Öffentlichkeit etwa kann nur dann ein Verständnis für die Arbeit deiner Organisation (und des gemeinnützigen Sektors) entwickeln, wenn sie entsprechend informiert wird – zumal sie auch ein Anrecht hat, zu erfahren, was steuerbegünstigte Organisationen eigentlich so tun.

Aber auch innerhalb des Sektors zahlt sich Transparenz aus, weil sie anderen Akteuren ermöglicht, sich an dir bzw. deinen Projekten zu orientieren.

Mit Blick auf Fundraising und Kooperationen erwarten potenzielle Partner*innen und Spender*innen zumindest Basisinformationen, wenn nicht gar weiterführende Belege, für eine qualitativ hochwertige Arbeit.

• Und von einer Kommunikation nach innen profitiert deine Organisation.

Transparenz macht Fehlentwicklungen sichtbar und bringt dich dazu, dich regelmäßig mit den eigenen Zielen und Wirkungen auseinanderzusetzen und gegebenenfalls umzusteuern.

Zumal: Wenn die haupt- oder ehrenamtlichen Mitarbeitenden wissen, wofür sie sich einsetzen, welche langfristigen Ziele sie gemeinsam anstreben und was sie mit ihrem Engagement eigentlich bewirken, stärkt das ihre Identifikation und Motivation. Damit steigerst du unmittelbar die Qualität deiner Arbeit!

Hinzu kommt: Transparenz ist ein gesellschaftlicher Trend. Befeuert durch regelmäßige Skandale, werden weniger transparent arbeitende Organisationen von Medien und Öffentlichkeit kritischer betrachtet als je zuvor. Trete dem Generalverdacht entgegen, etwas verbergen zu wollen! Und verbinde deine Offensive mit dem Nützlichen, indem du mit Fakten und Begeisterung über deine Arbeit informierst.

In diesem Sinne umfasst wirkungsorientierte Kommunikation deutlich mehr als reine Projekt- und Sachstandsberichte. Wirkungsorientierte Kommunikation heißt vor allem, die Öffentlichkeit zu suchen und über Erfolge und Gelerntes zu berichten.

Da deine Organisation vermutlich mit steuerlich begünstigten Mitteln arbeitet, ist es wichtig, dass du mit deiner Arbeit für Akzeptanz wirbst. Und schließlich können andere Akteure nur dann von deinen Erkenntnissen profitieren, wenn sie entsprechend informiert werden.

Dem geht natürlich voraus, dass deine Organisation abhängig von ihrer Größe und davon, wie offensiv du dich in der Öffentlichkeit platzieren möchtest, ausreichend Ressourcen für die externe Kommunikation einplant. Wenn du das nicht kannst, weil dir ohnehin nur sehr begrenzte Mittel zur Verfügung stehen, konzentriere dich auf ein bis zwei Kommunikationskanäle, deine Kernbotschaften und wesentliche Informationen.

Selbstverpflichtungen

In der Sozialbranche existieren verschiedene Selbstverpflichtungen. Eine davon ist die “Initiative Transparente Zivilgesellschaft” von Transparency International. Auf der Website findest du eine Anleitung, welche Inhalte du auf eurer Website transparent darstellen solltest.

Wichtig ist, dass du einer Kommunikationsstrategie folgst, die dir entspricht und auch angemessen ist: Je nach Adressat*innenkreis sind manchmal eher pfiffige Ideen, Kreativität und eine pragmatische Herangehensweise gefragt als umfassende Tätigkeitsberichte im 100-Seiten-PDF.

Deine Kommunikationsstrategie: An wen berichtest du was?

Um angemessen über die Wirkung deines Projekts berichten zu können, benötigst du eine Strategie, was und an wen du kommunizieren möchtest.

Sofern du verschiedene Adressat*innen ansprichst, erfordert das häufig unterschiedliche Berichtsformen und -formate. Du kannst den informellen Weg wählen, also Telefon, Fax, E-Mail, Gespräche oder den Austausch in einer Gruppe, oder aber auf ganz formelle Formate setzen, wie Präsentationen, Jahresberichte oder Rechenschaftsbelege.

Je nach Ziel und Adressat*innen kann es auch sinnvoll sein, verschiedene Formate zu kombinieren: Du könntest etwa deinen umfangreichen Jahresbericht auf LinkedIn mittels einer Infografik anteasern, deine Wirkungsbelege auf der Website aktualisieren und eine aussagekräftige Pressemitteilung an die lokalen Medien verschicken.

Wir können an dieser Stelle nur sehr grob skizzieren, wie du dich der Sache annähern kannst; alles andere würde den Rahmen sprengen. Aus der Praxis möchten wir dir aber drei Erkenntnisse mitgeben.

1. Einfach mal machen. Trau dich! Die Vorbehalte, die manche Organisationen hinsichtlich einer starken Öffentlichkeitsarbeit pflegen, sind in den allermeisten Fällen unbegründet. Und, wer weiß: Womöglich lernst du aus den Follower-Kommentaren auf Social Media mehr, als du gedacht hättest…
2. Niemand liest, sieht oder hört gern klassische PR-Verlautbarungsprosa. Widerstehe also der Versuchung, deine Zielgruppen mit plumper Werbung oder Jubelarien zu überschütten.
3. Glaubwürdigkeit und Seriosität ergeben sich, wenn deine Informationen plausibel und nützlich sind. Deswegen muss klar werden, auf welcher Grundlage du die Informationen erhoben hast und in welchem Kontext sie stehen.

Überlege deswegen, …

• an wen du berichten wirst (Geldgebende, Führungskräfte und Mitarbeitende innerhalb deiner Organisation oder auch die allgemeine Öffentlichkeit in deinem Stadtteil …?);
• welches Ziel du mit dem jeweiligen Bericht verfolgst;
• welche Inhalte für die jeweiligen Adressat*innen relevant und interessant sind;
• wie häufig und zu welchen Anlässen berichtet werden soll;
• welche Berichtsform die geeignete ist.

Widme dich im Anschluss den Details:

• Welches Vorwissen haben die Adressat*innen?
• Welche Position nehmen diese innerhalb des Themenfelds ein (Interne/Externe; Einflussnehmende/Beeinflusste)?
• Welche Funktion haben sie in Bezug auf das Berichtsthema (Entscheider*innen, Kooperationspartner*innen, Zielgruppen)?
• Wie viel Zeit haben die Adressat*innen, um sich mit den Informationen auseinanderzusetzen?
• Welche Ansprüche haben sie an die sprachliche und gestalterische Form?
• An welchen Ergebnissen sind sie besonders interessiert? An welchen Schlussfolgerungen?
• Wie ausführlich brauchen sie das?
• Welche Hoffnungen und Befürchtungen haben die Adressat*innen in Bezug auf das Berichtsthema?
• Welche Einstellung haben sie dir gegenüber?
• In welcher Form sind die Ergebnisse für sie selbst relevant (z.B. mehr/weniger Arbeitsbelastung; Einschränkung/Erweiterung Ihrer Handlungsmöglichkeiten)?

So berichtet PAFF

Über diese Formate und Kanäle erreicht PAFF seine Stakeholder:

– Pat*innen: Mails, Intranet
– Jugendliche: Social Media, gemeinsame Treffen
– Eltern: zweisprachiger Elternbrief, Elternabend
– Geldgebende: regelmäßiger Zweiseiter “PAFF News”, individuelle Berichte nach den Wünschen der Geldgebenden
– Regionale Presse: regelmäßige, anlassbezogene Pressemitteilungen, Einladungen zu wichtigen – Ereignissen
– Kooperierende Organisationen: regelmäßiger persönlicher Austausch
– Öffentlichkeit: Webseite, Press

Wie oft du berichtest, hängt vom Einzelfall ab. Geldgebende üben einen anderen Druck aus als ein Vereinsvorstand, der zum Quartalsende relevante Ergebnisse braucht. Wichtig ist nur, dass du dir diese Abläufe vergegenwärtigst, da diese erheblichen Einfluss darauf haben, wann du Daten erheben und auswerten musst.

Berücksichtige bitte auch, welche Ergebnisse sich realistischerweise kommunizieren lassen: Über erbrachte Leistungen (Outputs) kannst du meist schnell und zeitnah berichten, bei Wirkungen dagegen oft erst nach erheblicher Zeit.

Was du in allen Berichten und kommunikativen Maßnahmen berücksichtigen solltest: worin eigentlich dein Alleinstellungsmerkmal (USP) besteht. Was macht deine Organisation so besonders? Was machst du anders als andere, worin bist du richtig gut und wieso? – Wenn du das hinreichend plausibel und für Außenstehende verständlich darlegen kannst, ist viel gewonnen.

Im nächsten Schritt geht es darum, wie du die durch deine Arbeit erzielten Wirkungen adressat*innengerecht kommunizierst.

Wirkungen transparent machen

Wirkungen transparent machen heißt, die erzielten Resultate in einen Kontext einzubetten. Hierfür ordnest du die Eckdaten des Projekts – aufgewendete Ressourcen, Leitungs- und Aufsichtsstrukturen, Finanzen etc. – zusammen mit den bereits erzielten Resultaten in den Gesamtkontext der Wirkungslogik:

• Wurden mit den Aktivitäten die angestrebten Wirkungen (bzw. Meilensteine) erreicht?
• Sofern keine Wirkungen festgestellt werden konnten: Lassen sich hierfür Ursachen ausmachen bzw. lassen sich Prognosen treffen, wann die Wirkungen eintreten werden?

Wirkungstransparent über ein Projekt zu berichten heißt, Bedarfe, die Zielgruppen, die Angebote und die Wirkungen des Projekts in einen logischen und verständlichen Zusammenhang zu bringen.

Aufbauend auf der Projektskizze sollte der Bericht folgende Fragen beantworten:

• Welche Aktivitäten und Maßnahmen wurden ergriffen und mit welchem Ziel? Welche Ressourcen waren für die Durchführung der Aktivitäten bzw. Bereitstellung der Leistungen erforderlich?
• Welche Wirkungen (Outcomes und Impacts) wurden erzielt? Welche Zielgruppen wurden erreicht und was hat sich konkret an ihrer Lebenslage verändert? Welche Lerneffekte konnte die Organisation erzielen – auch aus Misserfolgen?
• Wie sieht die Prognose für den Folgezeitraum aus?
• Welche Methoden wurden eingesetzt, um all das festzustellen und zu dokumentieren?

Ein stimmiges Gesamtbild ergibt sich nur, wenn Kennzahlen mit qualitativen Aussagen verknüpft werden. Denn Mittelverwendungsnachweise, Teilnehmendenlisten oder die Anzahl durchgeführter Veranstaltungen allein sagen nichts darüber aus, welche Wirkung das Projekt erzielt hat!

Gelegentlich wird es vorkommen, dass einzelne Aspekte zutage treten, die du nicht kommunizieren willst, “unerwünschte Wirkungen” etwa. Natürlich kannst du diese zurückhalten, wir möchten aber dafür werben, dass du – wenigstens in Teilen – in angemessenem Umfang auch über unerfreuliche Ergebnisse berichtest.

Neues entsteht erst durch das Lernen aus Fehlern, und indem du Fehlerkompetenz beweist, ermöglichst du Dritten, aus deinen Erfahrungen zu lernen. Wenn im Detail doch zu sehr der Teufel steckt, könntest du vielleicht über grundlegende Erkenntnisse und Fehlannahmen berichten…

Der Social Reporting Standard (SRS)

Ein gutes Werkzeug für die Berichterstattung zur Wirkung deines Projekts ist der Social Reporting Standard, kurz: SRS. Der SRS ist kostenfrei und bildet auf wenigen Seiten sowohl die Eckdaten zum organisatorischen Rahmen (Organisationsführung, Finanzen etc.) als auch Informationen über Angebote, Zielgruppen und erreichte Wirkungen ab.

Er erleichtert nicht nur das Reporting über das laufende Geschäft, sondern kann auch in Strategieprozessen oder zu kommunikativen Zwecken eingesetzt werden, etwa im Fundraising. Parallel unterstützt er Organisationen dabei, sich qualitativ weiterzuentwickeln (Stichwort: Lernkultur!) und erlaubt, verschiedene Projekte miteinander zu vergleichen.

Als praktisches Nachdenkformat und Strukturierungshilfe fragt der SRS konsequent nach der eigenen Wirksamkeit:

• Wie sieht die grundlegende Wirkungslogik des Projekts aus?
• Was hast du im Berichtszeitraum erreicht?
• Standen Aufwand und Ertrag in einem gesunden Verhältnis?
• Wie kannst du deinAngebot erweitern bzw. skalieren?
• Wo lauern mögliche Risiken?

Im Vergleich zu anderen Berichtsformaten ist der SRS bewusst schlank gehalten und bedient sich einer verständlichen Sprache.

Informieren statt werben: dein Projekt gekonnt in Szene setzen

Bevor du einen Bericht verfasst, rufe dir nochmal ins Gedächtnis:

• Was ist die Kernbotschaft, die du vermitteln willst? (In diesem Zusammenhang: Worin besteht der USP deiner Organisation, dein Alleinstellungsmerkmal?
• Wer sind die zentralen Adressat*innen, mit denen du über deine Projekte kommunizieren möchtest?
• Was erwarten diese Adressat*innen? An welchen Inhalten, Ergebnissen und Schlussfolgerungen sind sie besonders interessiert?
• Welche Erwartungen haben die Adressat*innen an Details und Ausführlichkeit?
• Wie kannst du deine Arbeit und das, was du erreicht hast, für Außenstehende verständlich und abwechslungsreich darstellen?

Versuche beim Schreiben eine gute Balance zwischen Fakten & Unterhaltung sowie zwischen Herz & Verstand zu bieten. Emotional ansprechend wirken beispielsweise Erfolgsstorys von Zielgruppen des Förderprojekts. Hier kannst du etwa aus Sicht von Teilnehmenden darstellen, inwiefern ihnen das Projekt konkret geholfen hat.

Sofern du über ein Kooperationsprojekt berichtest, ist es erforderlich, die Partner*innen frühzeitig und dauerhaft in deine Kommunikation einzubinden bzw. diese kommunikativ zu unterstützen. Bemühe dich, gemeinsam mit den Projektverantwortlichen die Ergebnisse des Projekts zu analysieren und zu pointieren.

Das muss nicht zwingend in eine Evaluation münden; ein Abschlussbericht ist ein probates Mittel, sofern er die verschiedenen Perspektiven der Zielgruppen, Kooperationspartner*innen und Mitarbeitenden einbezieht. Wesentlich ist, dass nicht nur die Mittelverwendung, sondern vor allem auch die Resultate und die Erkenntnisse dokumentiert werden. Ein geeignetes Instrument hierfür ist der bereits erwähnte Social Reporting Standard.

Checkliste: Kriterien für gute Berichte

• Der Bericht erfüllt einen Zweck und befriedigt einen vorhandenen Bedarf.
• Er informiert und verdichtet relevante Informationen.
• Resultate werden mit nachvollziehbaren Belegen untermauert.
• Der Bericht ist präzise und leicht verständlich.
• Das Berichtsformat ermöglicht einen Vergleich über längere Zeit.
• Aufwand und Nutzen stehen in einem sinnvollen Verhältnis.
• Der Bericht wird allen Interessierten kostenfrei zugänglich gemacht.

Kommunikation und Wirkungsberichterstattung sind kein fertiger Zustand, sondern ein kontinuierlicher Prozess. Der Aufwand, diesen Prozess am Laufen zu halten, lohnt sich. Denn von einer strukturiertem Öffentlichkeitsarbeit profitiert vor allem die Organisation selbst:

• Nach außen wirkt sie vertrauensbildend, weil sich Mittelgebende und Öffentlichkeit ausreichend informiert fühlen.
• Sie erreicht Personen, die zur Zielgruppe gehören, sich aber bislang nicht angesprochen fühlten.
• Und nach innen sorgt die Debatte über Erfolge und Misserfolge für eine gute Organisationskultur – und befördert qualitativ hochwertige Arbeit.

Ein reichweitenstarkes, günstiges und wichtiges Instrument für die Kommunikation deiner Arbeitsweise und Wirkungsergebnisse stellt die Website dar. Welche Informationen sich im Web wiederfinden sollten, skizzieren wir im nächsten Abschnitt.

Wirkung online: die Website als Kommunikationsinstrument

Die Basisinformationen, die du zur Verfügung stellst, sollten sich an den Standards der Initiative Transparente Zivilgesellschaft orientieren:

• Name, Sitz, Anschrift und Gründungsjahr
• Vollständige Satzung sowie Vision, Mission und Ziele der Organisation
• Angaben zur Steuerbegünstigung
• Name, Funktion, Kontaktdaten wesentlicher EntscheidungsträgerInnen inkl. Organigramm
• Jahresbericht/Tätigkeitsbericht
• Angaben zur Mittelherkunft
• Angaben zur Personalstruktur, v. a. im Hinblick auf die Anzahl und Zusammensetzung von Haupt- und Ehrenamtlichen, Honorarkräften etc.
• Angaben zur Mittelverwendung, aufgeteilt nach Projekten, Vergleichbarkeit über mehrere Jahre möglich
• Gesellschaftsrechtliche Verbundenheit mit Dritten
• Namen von juristischen Personen, deren jährliche Zahlungen mehr als 10 Prozent des Gesamtjahresbudgets ausmachen

Wünschenswert ist natürlich, dass du darüber hinausgehende Informationen bietest:

Wer bist du und was willst du?

• Name, Anschrift, Gründungsjahr, wichtige Ansprechpartner*innen mit Namen und Kontaktdaten
• korrektes Impressum
• Satzung (als PDF oder besser noch als Text auf der Website)
• Angaben zur Gemeinnützigkeit (zum Beispiel per Freistellungsbescheid)
• Organisationsziele samt Vision oder Mission
• Wer macht was wann wo?

Wer ist wofür Expert*in und wie setzt sich das Team zusammen?

• Organigramm mit Aufgabenverteilung & Verantwortlichkeiten
• Leitungs- und Aufsichtsstrukturen samt Funktionen
• Verbindungen zu anderen Organisationen (Mitgliedschaften, Beteiligungen, feste Kooperationen, zum Beispiel über eine Linkliste)
• Übersicht der Mitarbeitenden, vor allem im Hinblick auf die Anzahl und Zusammensetzung von Haupt- und Ehrenamtlichen, Honorarkräften etc.

Wofür gibt du dein Geld aus?

Vor allem Geldgebende wollen wissen, wofür Mittel verwendet werden. Unbedingt notwendig ist es also, die Einnahmequellen und Verwendungszwecke leicht nachvollziehbar aufzulisten – etwa in einem Jahresabschluss bzw. einer Einnahmen-Überschuss-Rechnung (abhängig von der Größe der Organisation). Sinnvoll ist auch, wenn du einen Vergleich ermöglichst, indem du beispielsweise Jahresabschlüsse aus Vorjahren anbietest.

Wie wirkt deine Organisation?

Neben den formalen Transparenzkriterien, die einen Überblick über die Arbeitsabläufe und die Leistungsfähigkeit deiner Organisation ermöglichen, kommen dann die Wirkungen ins Spiel:

• Was möchtest du erreichen? (Stichwort: Ziele)
• Welche Aktivitäten führt deine Organisation durch bzw. welche Leistungen bietest du an und warum?
• Welche Wirkungen erzielst du dadurch? Wen hast du erreicht und was konntest du verändern?
• Woher weißt du, wie deine Organisation wirkt? Welche Erhebungsmethoden nutzt du?

Hierfür kannst du z.B. Zitate oder Feedbacks veröffentlichen. Wichtig ist, dass die Wirkungsbelege aktuell sind!

Fazit und Ausblick

Wirkungsorientiertes Arbeiten macht die Welt ein bisschen besser. Die große Welt der Zielgruppen ganz bestimmt, die kleine Welt in deinem Projekt mit Sicherheit. Gewiss, Wirkungsorientierung erfordert Aufwand. Dafür verspricht sie aber auch reichlich Ertrag. Denn welche Wirkung eine Organisation oder ein Projekt erzielen möchte, auf welche Aspekte wirkungsorientierten Arbeitens sie sich konzentriert, wie sie ihre Wirkung feststellt, kann jeder für sich selbst bestimmen.

Entscheidend ist vielmehr deine Haltung: Wirkungsorientiertes Arbeiten heißt, einen Prozess zu starten, der weit über das bloße sich Engagieren hinausreicht, und der von Anfang an und ganz bewusst Wirkung mitdenkt: sie plant, erfasst, analysiert, sie in einen Kontext einbettet und aus den Ergebnissen lernt.

Diesem Verständnis folgend, entfaltet Engagement dann die größte Wirkung, wenn man es wie eine Investition behandelt:

• Warum wollen wir uns engagieren, was wollen wir erreichen?
• Welchem Thema, welchen Zielgruppen?
• Welche Mittel haben wir? Woran messen wir Erfolg?
• Was haben wir bisher gemacht, was lernen wir daraus?

Wer auf diese Fragen Antworten findet, legt die Basis für wirkungsvolle und glaubwürdige Projektarbeit.

Dank ihrer implementierten Fehler- und Lernkultur trägt eine wirkungsorientierte Arbeitsweise unmittelbar dazu bei, dass Mitarbeitende und Projektpartner*innen deutlich motivierter sind. Dieser Effekt ist nicht zu unterschätzen, denn die intrinsische schlägt die extrinsische Motivation um Längen.

Voraussetzung ist allerdings, dass Wirkungsorientierung nicht von oben verordnet wird – sie soll Lust sein, nicht Last. Es kommt darauf an, alle Mitarbeitenden von Anfang an und dauerhaft so einzubinden, dass sie sich als Teil eines Ganzen begreifen.

Einen Sack Flöhe zu hüten scheint manchmal leichter zu sein, als alle Beteiligten in und außerhalb des Projekts unter einen Hut zu bringen. Dennoch ist genau das für die wirkungsorientierte Arbeit entscheidend. Denn nur wer die Bedürfnisse und Erwartungen der Stakeholder kennt, kann diese berücksichtigen und bedienen.

Natürlich bieten die auf dieser Seite vorgestellten Tipps keine Garantie dafür, dass du erfolgreich arbeiten wirst. Sehr wohl aber bilden sie den Nährboden, aus dem eine erfolgreiche und wirksame Projektarbeit erwachsen kann.

Wenn du testen möchtest, wie wirkungsorientiert du schon arbeitest, befrage das Wirkometer. Das Tool stellt 20 Fragen und gibt dann Auskunft, an welcher Stelle du stehst.

Beim SKala-CAMPUS findest du außerdem vertiefende interaktive Kurse, verschiedene Weiterbildungen, Praxisartikel sowie individuelle Angebote rund um das Thema Wirkung für deine Organisation.

Glossar

Baseline

Als Baseline bezeichnet man die Situation der Zielgruppe zu einem bestimmten Zeitpunkt. Die erhobenen Daten dienen als Bezugspunkt für Vergleiche und Entwicklungen.

Bedarfsanalyse

Bei einer Bedarfsanalyse werden das Ausmaß gesellschaftlicher Probleme, die konkrete Situation vor Ort sowie die Wünsche und Bedarfe der Zielgruppe ermittelt.

Benchmark

Vergleichsmaßstab, an dem Leistungen oder Ergebnisse gemessen werden. Als Benchmark dienen beispielsweise die Leistungen vergleichbarer Organisationen.

Effektivität

Auch: Wirksamkeit. Gibt das Ausmaß an, in dem die Wirkungsziele eines Projekts erreicht werden.

Evaluation

Systematische und objektive Beurteilung eines laufenden oder abgeschlossenen Projekts oder Programms.

Impact

Soziale oder ökonomische Veränderungen auf gesellschaftlicher Ebene. Da der Bezug auf die gesamte Gesellschaft meist weder sinnvoll noch möglich ist, beziehen sich die Veränderungen meist auf einen Teil der Gesellschaft oder eine Region.

Indikator

Hinweis auf ein Ereignis bzw. einen Sachverhalt, der sich nicht unmittelbar beobachten lässt. Indikatoren sind unverzichtbar für das Messen komplexer Sachverhalte im Zuge von Monitoring und Evaluation.

Inputs

Finanzielle, personelle und materielle Ressourcen, die für ein Projekt eingesetzt werden.

Monitoring

Systematisches und kontinuierliches Datensammeln während des Projektverlaufs. Ziel ist es, aktuelle Informationen für die Steuerung des Projekts zu erhalten.

Outcome

Outcomes sind die Wirkungen des Projekts auf Ebene der Zielgruppen. Sie gehören zum zentralen Bestandteil der Wirkungslogik und untergliedern sich in drei Stufen: Veränderungen im Wissen, in Einstellungen und in Fähigkeiten (Stufe 4); im Verhalten (Stufe 5) oder in der Lebenslage/dem Status der Zielgruppe (Stufe 6).

Outcome

Outcomes sind die Wirkungen des Projekts auf Ebene der Zielgruppen. Sie gehören zum zentralen Bestandteil der Wirkungslogik und untergliedern sich in drei Stufen: Veränderungen im Wissen, in Einstellungen und in Fähigkeiten (Stufe 4); im Verhalten (Stufe 5) oder in der Lebenslage/dem Status der Zielgruppe (Stufe 6).

Outputs

Angebote und Produkte eines Projekts sowie deren Nutzung durch die Zielgruppe. Outputs bilden die Grundlage dafür, dass ein Projekt Wirkung erzielt.

Stakeholder

Einrichtungen, Organisationen, Gruppen oder Einzelpersonen mit einem direkten oder indirekten Interesse am Projekt.

Umfeldanalyse

Bei einer Umfeldanalyse werden die Angebote anderer Akteure betrachtet, die im Themenbereich und in der Region tätig sind, sowie Angebotslücken identifiziert.

Wirkung

Veränderungen, die durch eine bestimmte Intervention verursacht wurden. Werden in Impacts (Wirkungen auf Ebene der Gesellschaft) und Outcomes (Wirkungen bei den Zielgruppen) unterteilt.

Wirkungsanalyse

Hinterfragt die Wirkungsannahmen, auf denen ein Projekt aufbaut. Um festzustellen, ob und in welchem Maße die erwünschten Veränderungen eintreten, werden die erbrachten Leistungen, die erzielten Wirkungen (Outcomes und Impacts) sowie deren Qualität analysiert.

Wirkungslogik

Eine Wirkungslogik bildet die Funktionsweise eines Projekts schematisch und in vereinfachter Form ab. Auch bekannt als Programmlogik, Theory of Change, Wirkungskette oder Logisches Modell.

Wirkungsorientierung

Wirkungsorientierung bedeutet, dass ein Projekt darauf ausgelegt ist, Wirkungen zu erzielen, und das Projekt ausgehend von diesen Wirkungen geplant und umgesetzt wird.

Ziele

Beabsichtigte Wirkungen eines Projekts, die für Personen, Gruppen, Organisationen oder die Gesellschaft zu physischen, finanziellen, institutionellen, sozialen oder ökologischen Verbesserungen beitragen.

Zielgruppe

Personen, Gruppen oder Organisationen, zu deren Gunsten ein Projekt durchgeführt wird.