Datenerhebung muss nicht kompliziert sein: Auch kleine Non-Profits können Wirkungsdaten ermitteln – sofern sie strukturiert vorgehen. So geht´s.
Datenerhebung vorbereiten
Um an Wirkungsdaten zu gelangen, sind drei Schritte nötig:
- Im ersten Schritt erstellt ihr einen Datenerhebungsplan, der euch hilft, den Prozess der Datenerhebung zu strukturieren, und der definiert, wann welche Daten benötigt werden.
- Im zweiten Schritt identifiziert ihr die Datenquellen, d.h. ihr ermittelt, woher die Daten kommen und wer zuständig ist etc.
- Im dritten Schritt geht es dann darum, die Daten tatsächlich zu erheben.
Es gibt verschiedene, unterschiedlich komplexe Methoden, um Wirkungsdaten zu erhalten, hierzu die Abbildung weiter unten. Einige dieser Methoden können auch mit vergleichsweise geringen Vorkenntnissen und wenigen Ressourcen angewendet werden. Bei vielen Methoden ist es jedoch hilfreich, Fachleute hinzuzuziehen. (Was es dabei zu beachten gibt, haben wir hier aufgeschrieben: “Evaluation & Wirkungsanalyse: Wer macht’s und was kostet’s?”.
Schritt 1: Datenerhebungsplan erstellen
Der Datenerhebungsplan hilft euch, die Datenerhebung zu strukturieren und dauerhaft den Überblick zu behalten. Ein Muster findet ihr hier zum Download:
Schritt 2: Datenquellen identifizieren
Nun müsst ihr herausfinden, woher ihr die Daten bezieht. Die besten Quellen für Wirkungsdaten sind bspw. Mitglieder
der Zielgruppe und andere Stakeholder sowie Berichte, Auswertungen und sonstige Dokumente.
Für jeden der im Vorfeld festgelegten Wirkungsindikatoren
benötigt ihr mindestens eine Datenquelle. Um diese ausfindig zu machen, helfen folgende Fragen:
- Liefert die Quelle hochwertige Daten (oder nur welche Pi mal Daumen)?
- Ist die Datenquelle leicht zugänglich und kann regelmäßig abgerufen werden?
- Sind die Kosten vertretbar, die die Datenquelle erfordert?
Habt ihr eine Datenquelle ermittelt, müssen ihr eine passende Methode bestimmen, mit der die Informationen erhoben werden.
Schritt 3: Daten erheben
Für das Daten erheben habt ihr zwei Möglichkeiten: Ihr könnt a) bereits vorhandene Daten nutzen oder b) Daten grundsätzlich neu erheben.
Vorhandene Daten nutzen: Viele Informationen zu Resultaten, Ergebnissen und Wirkungen liegen häufig bereits an anderer Stelle vor. Neben den Daten aus externen Quellen, wie z.B. offizielle Statistiken und Erhebungen, könnt ihr z.B. auch auf innerhalb der Organisation vorliegende Informationen zurückgreifen. Zu finden sind solche Daten in Dokumentationen und Projektunterlagen, in Evaluationen und Jahresberichten, in Teilnehmer*innen-Informationen, Anmeldebögen etc. – vor allem aber in den Köpfen aller Mitarbeitenden. Die Mitarbeiter*innen sind eine unverzichtbare Quelle und sollten schon allein deshalb von Anfang an in die Wirkungsanalyse mit einbezogen werden.
Neue Daten erheben: Reichen die bestehenden Daten nicht aus oder existieren noch gar nicht, müsst ihr selbst welche ermitteln. Hierfür stehen euch eine Vielzahl an Datenerhebungsmethoden zur Verfügung, von komplex & aufwendig bis ressourcenfreundlich & in Eigenregie. Für welchen Ansatz ihr euch entscheidet, hängt von den zur Verfügung stehenden Ressourcen ab sowie davon, in welcher Detailtiefe und in welchem Umfang ihr die Informationen benötigt. – Die Kunst besteht darin, dass ihr diejenige auswählt, die zu eurem Kontext passt.
Methoden der Datenerhebung
Grundsätzlich unterschieden werden quantitative und qualitative
Erhebungsmethoden.
Quantitative Methoden eignen sich besonders dann,
wenn …
- präzise Daten vorliegen sollen
- ihr euch einen generellen Überblick verschaffen möchtet
- Vergleiche zwischen verschiedenen Gruppen oder Personen nötig sind
- statistische Abhängigkeiten zwischen dem Problem und den vermuteten Ursachen zu prüfen sind
- der Beweis erbracht werden soll, dass ein Projekt (zählbare) Erfolge liefert
Quantitative Methoden sind unter anderem Messungen, Zählen,
die Analyse statistischer Daten, Befragungen, Tests sowie strukturierte
Beobachtungen. Bei der qualitativen Datenerhebung werden
detaillierte, subjektive und individuelle Erkenntnisse über Einstellungen und
Handlungen ermittelt. Hierfür werden Einzelfälle auf ihre Besonderheiten hin
untersucht.
Qualitative Daten beschreiben einen Sachverhalt und helfen,
ein vertieftes Verständnis von einer Situation zu bekommen. Das macht sie für
die wirkungsorientierte Steuerung von Projekten auch so wichtig: Meist ergeben
sich erst aus der Kombination quantitativer und qualitativer Daten
vollständige Ursachen und Zusammenhänge.
Qualitative Erhebungsmethoden sind dadurch gekennzeichnet,
dass sie sich mit dem Wie und Warum eines Sachverhalts oder einer Entwicklung
beschäftigen. Sie eignen sich v.a., wenn es darum geht, …
- eine Situation in einem bestimmten Kontext genau zu verstehen
- herauszufinden, wie Personen oder Gruppen ihre Situation einschätzen und welche Erwartungen und Wünsche sie haben
- qualitative Entwicklungen nachzuweisen und zu verfolgen
- Projekte wirkungsorientiert zu planen
Qualitative Methoden sind unter anderem verschiedene Formen von Interviews (Einzelinterviews, Fokusgruppen, etc.), Beobachtungen und Dokumentenanalysen.
Fragen, die bei der Auswahl der Datenerhebungsmethode helfen
Um die für euch passende Erhebungsmethode zu ermitteln, stellt euch folgende Fragen:
- Was genau möchtet ihr herausfinden? – Möchtet ihr wissen, wie groß die erreichte Zielgruppe ist, oder geht es darum zu ermitteln, warum das Projekt bei einer ganz bestimmten Personengruppe keine Wirkung erzielt?
- Wofür braucht ihr die Informationen? – Möchtet ihr gegenüber Geldgebenden die Relevanz eines Problems verdeutlichen, eignen sich besonders quantitative Daten. Wollt ihr hingegen ein Problem durchdringen oder Details und Unterschiede herausarbeiten, sind qualitative Methoden zielführender.
Die geeignete Erhebungsmethode(n) auswählen
Die Entscheidung für die passende Methode ist alles andere
als einfach und erfordert in vielen Fällen Erfahrung. Deshalb ist es sinnvoll,
sich mit Fachleuten auszutauschen oder Menschen zu befragen, die in ähnlichen
Projekten arbeiten.
Zu überlegen ist, wofür ihr die Informationen braucht und wie
aussagekräftig und belastbar die Daten sein müssen.
Allgemein gilt: Je mehr Blickwinkel ihr einnehmt, umso
aussagekräftiger ist das Bild, das sich ergibt. Aus diesem Grunde bietet es
sich an, verschiedene Datenquellen und Erhebungsmethoden miteinander zu
kombinieren – quantitative und qualitative gleichermaßen.
Ihr müsst keinesfalls Evaluationsprofis sein, um im Zuge der
Wirkungsanalyse Daten erheben zu können. Natürlich unterscheiden sich die Erhebungsmethoden
hinsichtlich Aufwand und Vorkenntnissen sowie Aussagekraft bzw. Belastbarkeit
der Daten (Validität), die Übersicht oben liefert hierzu einen ersten
Überblick. Gleichwohl aber gibt es für nahezu jedes soziale Projekt geeignete
und ressourcenschonende Erhebungsmethoden.
Ist das Budget klein oder steht ihr ganz am Anfang, beginnt
am besten mit kleinen, übersichtlichen Maßnahmen, die ihr über die Zeit
ausbaut. Die Ergebnisse sind anfangs vielleicht weniger exakt, aber sie sind in
vielen Fällen ausreichend, um Lern- und Verbesserungsprozesse anzustoßen.
Beabsichtigt ihr, die Daten für weitreichende
Entscheidungen wie z.B. die Fortführung oder Beendigung des Projekts zu nutzen,
sollten diese entsprechend fundiert sein.
Die Entscheidung für oder gegen eine Methode ist letztlich
abhängig von …
- den Fragen, die ihr mithilfe der Daten beantworten wollt
- den Indikatoren, anhand derer ihr feststellt, ob und inwieweit ihr ein Wirkungsziel erreicht haben.
Um die Komplexität zu reduzieren, könnt ihr folgende Übersicht zurate ziehen:
Qualitätskriterien für die Datenerhebung
Nutzt verschiedene Datenquellen und Erhebungsmethoden! Auch in der Wirkungsanalyse ist es wichtig, verschiedene
Datenquellen und Methoden der Datenerhebung zu kombinieren, um die Datenqualität
zu überprüfen und zu verbessern. Nutzt also für eine aussagekräftige
Analyse sowohl quantitative als auch qualitative Erhebungsmethoden.
Die wichtigsten Erhebungsmethoden sind …
- Fragebögen
- Einzelinterviews
- Expert*inneninterviews (individuell oder in der Gruppe)
- Fokusgruppen
- Informelle Gespräche & Anekdoten
- systematische Beobachtungen
- Tests und Messungen
- Fallstudien
- Dokumentenanalysen
Testet die Methode vorher! Bevor es ernst wird und ihr mit der Datenerhebung beginnt,
solltet ihr eure Instrumente der Datenerhebung erproben, z.B. den Fragebogen
oder Interviewleitfaden. Denn egal, wie gut die Instrumente erarbeitet und das
Vorgehen geplant wurden: Es können sich immer Fehler einschleichen, die die
Qualität der Erhebung gefährden. Daher lohnt sich der Aufwand, die Instrumente
zunächst bei einer kleinen Zahl von Personen zu testen.
Im Pretest sollte das Augenmerk auf folgende Punkte gelegt
werden:
- Sind die Fragen klar und unmissverständlich formuliert? Kann die befragte Zielgruppe mit der Wortwahl etwas anfangen, oder kommen Fremdworte etc. vor?
- Ist die Fragestellung wirklich zielführend?
- Sind die Fragen so formuliert, dass sie kein Unbehagen oder eine Abwehrhaltung erzeugen?
- Sind die Anweisungen an diejenigen, die das Interview durchführen, klar und unmissverständlich?
- Ist die Länge der Befragung / des Fragebogens angemessen? (Manche Befragungen nehmen zu viel Zeit in Anspruch, dadurch werden die Befragten ungeduldig und unkonzentriert, was sich negativ auf die Qualität der Antworten auswirkt.)
Weniger ist mehr! Für kleine Organisationen gibt es budgetfreundliche Datenerhebungsmethoden. Lasst euch nicht einschüchtern, sondern beginnt mit kleinen, übersichtlichen Maßnahmen, die ihr nach und nach ausweitet. Welche das sein können, haben wir hier aufgeschrieben: “Datenerhebung im Projektalltag: 5 unaufwändige Methoden, um die Wirkung eines sozialen Projekts zu ermitteln”.
Vermeidet exzessives Datensammeln! Blockiert das Projekt nicht mit exzessivem Datensammeln! Häuft keine Datenberge an, diese kann ohnehin niemand auswerten. Überlegt deshalb beizeiten, welche Informationen ihr tatsächlich und ganz wirklich braucht.
Erhebungsdesign festlegen in der Praxis
Beschäftigt euch mit den Daten!
Das Wichtigste zum Schluss: Alle Daten nützen nichts, wenn niemand sie sehen oder aus ihnen lernen will. Überlegt vorab gut, welche Daten ihr braucht, und nutzt diese dann aber auch zur Steuerung. Eine Datenerhebung um des Erhebens willen ergibt wenig Sinn. Umgekehrt lassen sich Projekte ganz wunderbar und argumentativ überzeugend steuern, wenn die Daten Hinweise liefern, dass des Fehlentwicklungen gibt oder die Ziele wie erhofft erreicht wurden.
