[00:00:01.670] – Igor Ryabinin PHINEO gAG

Durch die Wirkungsanalyse haben wir jetzt einen Haufen von Daten und Informationen gesammelt. Irgendwann steht man dann da und fragt sich: Was bedeutet das Ganze eigentlich? – Weshalb wir zum vorerst letzten Schritt der Wirkungsanalyse kommen, der Bewertung der Ergebnisse und dem Ableiten von Handlungsempfehlungen.

[00:00:27.020] – Charlotte Buttkus PHINEO gAG

Bei der Interpretation und Bewertung der Ergebnisse sind Vergleiche ein zentraler Bestandteil. Hierfür gibt es verschiedene Möglichkeiten und Ansätze. Welche Vergleiche möglich sind, hängt vor allem vom gewählten Erhebungsdesign ab. Deshalb sollte man sich vorher gut überlegen, wie man seine Daten auswerten möchte und interpretieren will.

[00:00:50.040] – Igor Ryabinin PHINEO gAG

Gängig sind folgende Vergleiche. 1.) der Vorher-Nachher-Vergleich, der veränderungen im Zeitverlauf untersucht. Ich vergleiche die Werte vor Beginn meiner Intervention mit den Werten nach meiner Intervention. Den Vorher-Nachher-Vergleich könnte man z.B. in einem Programm zur Prävention von Schulgewalt anwenden. Dort könnte man die Anzahl der gewalttätigen Vorfälle vor der Intervention mit der Anzahl der gewalttätigen Vorfälle nach der Intervention vergleichen.

[00:01:21.030] – Igor Ryabinin PHINEO gAG

Soll-Ist-Vergleich: Hier vergleicht man die tatsächlich erreichten Resultate mit dem angestrebten Zielwerten. Beispiel: Präventionsprogramme zur Schulgewalt – nach Durchführung des Programms ist der Ist-Wert gewalttätiger Vorfälle an der Schule “5”. Vorher hatte man aber festgelegt, dass man maximal “3” gewalttätige Vorfälle pro Schuljahr haben möchte. Somit ist der IST-Wert hinter den Erwartungen zurückgeblieben.

[00:01:47.910] – Igor Ryabinin PHINEO gAG

Vergleiche zwischen unterschiedlichen Sub-Zielgruppen: Hier vergleichen wir, ob sich die Ergebnisse für unterschiedliche Sub-Zielgruppen unterscheiden. Hier könnte man unterscheiden zwischen Schülerinnen unter 14 Jahre und Schülerinnen über 14 Jahre und man würde dann für diese beiden Sub-Zielgruppen die Anzahl der gewalttätigen Vorfälle vergleichen.

[00:02:10.830] – Igor Ryabinin PHINEO gAG

Vergleiche zwischen verschiedenen Projektvarianten: Beispiel Präventionsprogramme zu Schulgewalt. Hier könnte es eine Projektvariante geben mit Angeboten für Lehrkräfte und eine Projektvariante ohne Angebote für Lehrkräfte, in der nur mit den Schülerinnen gearbeitet wird.

[00:02:27.690] – Igor Ryabinin PHINEO gAG

Benchmarking: Hier vergleicht man die Resultate mit anderen vergleichbaren Projekten. Das können Projekte anderer Organisationen sein oder Projekte derselben Organisation, nur eben an einem anderen Standort. Ich vergleiche das Programm, das in Berlin stattfindet, mit dem Programm, das in Hamburg stattfindet.

[00:02:52.840] – Charlotte Buttkus PHINEO gAG

Was ist jetzt bei der Bewertung und Interpretation von Vergleichen zu beachten? Bei allen Vergleichen gilt: Vorsicht bei der Interpretation, denn es lauern überall Fallstricke. Um diese zu relativieren, sollte unbedingt der Kontext mitbetrachtet werden. Es geht darum, die Ergebnisse soweit wie möglich zu objektivieren und in den Kontext einzubeziehen. Bei Vergleichen zwischen verschiedenen Zielgruppen kann man sich fragen, ob diese tatsächlich die gleichen Voraussetzungen mit sich bringen. Generell muss man sich bei allen Vergleichen stets fragen, was ohne die Maßnahme passiert wäre. Was also bei den Zielgruppen passiert wäre, wenn sie gar nicht an dem Programm teilgenommen hätten. Zur Objektivierung der Bewertung ist es nützlich, Dritte hinzuzuziehen, also die Ergebnisse beispielsweise Stakeholdern vorzustellen, die sie kritisch hinterfragen können. Es können auch sogenannte Critical friends sein, also Kolleginnen oder Evolutionsexpertinnen, die mit einem Blick von außen auf die Plausibilität der Ergebnisse schauen. Bei quantitativen Daten ist es auch wichtig, die statistische Relevanz einzubeziehen, also festzustellen, mit welcher Wahrscheinlichkeit es sich hier um zufällige Ergebnisse handelt. Bei der Objektivierung hilft es auch, Daten fallübergreifend und nicht einzelfallbezogen auszuwerten. Außerdem sollte man nur solche Schlussfolgerungen ziehen, die die Daten und das Erhebungsdesign wirklich zulassen. Generell ist es wichtig, sich klarzumachen, all das auch anderen klar zu kommunizieren, also bei welchen Aussagen es sich um die reinen Daten und Ergebnisse handelt, und welche Aussagen tatsächlich Interpretationen und Schlussfolgerungen sind.

[00:05:16.920] – Igor Ryabinin PHINEO gAG

Wie leite ich Handlungsempfehlungen ab? Hier geht es darum, welche Anpassungen und Weiterentwicklungen des Projekts vorgenommen werden sollen. Oft kann es sinnvoll sein, die Bewertung der Ergebnisse und die Ableitung der Handlungsempfehlungen zusammen mit den wichtigen Stakeholdern partizipativ zu erarbeiten. Das hat Vorteile, weil es die Akzeptanz der Empfehlungen steigert und auch die Qualität und die Transparenz.