[00:00:01.720] – Charlotte Buttkus PHINEO gAG

Wenn ich jetzt weiß, welche Indikatoren ich wann erheben möchte, dann ist der nächste Schritt die Wahl in einer passenden Erhebungsmethode.

[00:00:09.310] – Dr. Falk Wienhold PHINEO gAG

Es gibt eine Vielzahl an Erhebungsmethoden. Die Herausforderung ist, sich diejenige rauszusuchen, die am besten zur Situation passt. Schauen wir uns beispielsweise mal Methoden an, die sich mit vergleichsweise niedrigem Aufwand umsetzen lassen: Anekdotensammlung gehören beispielsweise dazu, Foto- oder Videodokumentation oder das Monitoring von Teilnehmendenzahlen. All das sind Informationen, die wir leicht erheben können, die aber auch nur eine begrenzte Aussagekraft haben. Wenn wir nun deutlich mehr Aufwand in Kauf nehmen, gewinnen wir dadurch an Aussagekraft. Beispielsweise bei Beobachtungen, die wir festhalten, Interviews, die wir führen oder Befragungen. Bei all diesen Methoden bekommen wir deutlich mehr Information darüber, was genau passiert ist, wie sich ein Zustand verändert hat und welche Wirkungen aufgetreten sind. All das hilft uns, das Projekt gezielt zu steuern. Das Extrem wären Längsschnittstudien mit Kontrollgruppen. Hier haben wir schon einen wissenschaftlichen Anspruch, der in der Regel für die meisten Projekte gar nicht notwendig und auch sehr schwer umsetzbar ist. Gleichzeitig haben wir natürlich eine sehr hohe Aussagekraft der Daten. Zusammenfassend kann man sagen: Je belastbarer die Daten sein sollen, desto größer ist gleichzeitig der Aufwand.

[00:01:26.890] – Charlotte Buttkus PHINEO gAG

Die Auswahl der passenden Methode hängt vor allem davon ab, welche Ausprägung der zu untersuchende Sachverhalt hat. Dabei helfen vier Fragen, die auch gleich für vier methodische Grundrichtungen stehen. Erstens, kann ich es erfragen? Das wäre dann eine Befragung. Zweitens, kann ich es beobachten? Das wäre eine Beobachtung. Drittens, kann ich es ausprobieren? Das wäre ein Test, eine Messung. Und viertens, kann ich es herauslesen? Das wäre dann eine Dokumentenanalyse. Um die Aussagekraft zu erhöhen, werden häufig mehrere Methoden kombiniert. Das nennt man dann Triangulation, bspw. wenn man eine Selbsteinschätzung mit einer Befragung kombiniert, oder einen Wissenstest mit der Einschätzung durch eine dritte Person, also beispielsweise ein Teilnehmer selbst sein Wissenszuwachs beurteilen lässt und dann nochmal den Trainer oder die Trainerin befragt, wie sie den Wissenszuwachs dieses Teilnehmers einschätzen.

[00:02:45.560] – Dr. Falk Wienhold PHINEO gAG

Je nach Erkenntnisinteresse eignen sich qualitative oder quantitative Daten. Qualitative Daten geben uns ein tieferes Verständnis von den Ursachen, den Zusammenhängen und Entwicklungen. Sie haben eine beschreibende Funktion für uns. Sie erklären uns das Wie und Warum. Qualitative Daten können wir z.B. aus offene Interviews gewinnen, aus Beobachtungen oder aus Dokumentenanalysen. Quantitative Daten hingegen helfen uns, einen Überblick zu gewinnen, Vergleiche zu ziehen oder auch statistische Abhängigkeiten zu identifizieren. Sie helfen uns, Informationen präzise in Zahlen auszudrücken. Sie geben Antworten auf Fragen wie: Was, wie viel oder in welchem Ausmaß etwas passiert. Methoden, die sich dafür eignen, sind Zählungen, standardisierte Tests oder strukturierte Befragungen.

[00:03:48.930] – Dr. Falk Wienhold PHINEO gAG

Eine Wirkungsanalyse berücksichtigt in der Regel sowohl qualitative wie auch quantitative Daten. Gerade in der frühen Phase eines Projektes oder in einem Modellprojekt, wo das Spektrum an erzielten Wirkungen noch unklar ist, macht es oft Sinn, ein zweistufiges Verfahren zu nutzen. Erstens, das Spektrum an Wirkungen qualitativ abfragen, und in Kategorien clustern. Zweitens, die Wirkungen quantitativ abfragen. Das heißt erst abfragen, welche Wirkungen überhaupt auftreten und zweitens quantitativ abfragen, bei wie vielen und in welchem Ausmaß diese Wirkungen aufgetreten sind.

[00:04:34.660] – Charlotte Buttkus PHINEO gAG

Es gibt sechs Fragen, die dabei helfen, die passende Methode zu finden. 1.) Was ist eigentlich mein Erkenntnisinteresse und brauche ich dafür eher qualitative oder quantitative Daten? 2.) Was ist der Zweck der Wirkungsanalyse: Will ich lernen, will ich legitimieren, oder will ich die Daten nutzen, um steuern zu können? 3.) Welchen Zugang habe ich eigentlich zur Zielgruppe? 4.) Habe ich Vorerfahrung bei einer Methode? auf was kann ich da zurückgreifen, in der Organisation? 5.) Ist kann ich auf vorhandenen Daten aufbauen und an diese anknüpfen und deswegen eine ähnliche Methode wählen? 6.) Wie viele für Ressourcen brauche ich, Ressourcen im Sinne von Geld und Zeit, aber auch fachliche Expertise.

[00:06:06.060] – Oliver Reiner Soziokulturelles Zentrum “Die VILLA” Leipzig

Für uns ist immer eine große Herausforderung, auch, weil uns in der Regel die Ressourcen fehlen. Deswegen versuchen wir uns mit anderen Mitteln zu behelfen. Und da sind die Beobachtungen unserer Fachkräfte, die Entwicklung einzelner Personen, ein ganz relevantes Kriterium.

[00:06:33.870] – Thomas Knoll CARE Deutschland e.V.

Die quantitativen Befragungen bieten den Mehrwert, dass ich hohe Fallzahlen habe, dass ich auch statistisch verwertbare Ergebnisse habe. Die qualitativen Instrumente, die haben einen ganz, ganz hohen Nutzen, vor allem deswegen, weil sie das Ganze mit Leben füllen. Durch die qualitativen Instrumente können wir so etwas herstellen wie eine Veranschaulichung. Was bedeutet das denn im konkreten Einzelfall? Wie sieht das aus jetzt in einer konkreten Klasse? Welche Entwicklung hat da stattgefunden? Was bedeutet das eigentlich am Standort? Wenn wir davon sprechen, dass interkulturelle Kompetenzen entstanden sind, dass mehr Engagement an der Schule stattfindet, dass die Jugendlichen selbstbewusster geworden sind, dass sie beginnen, schulische Integration und Vielfalt zu gestalten: Das sind alles Aspekte, die ich mit rein quantitativen Maßnahmen nicht abbilden kann. Deshalb haben wir gesagt, wir brauchen sowas wie eine breite statistische Basis, auch weil das eben in der Rechenschaftslegung, im Berichtswesen, gefordert wird. Aber zweitens, weil es auch die Validität der Ergebnisse sichert. Aber um das Ganze zu veranschaulichen und zuzuspitzen, sind die qualitativen Instrumente ganz, ganz wichtig.