Die Wahl der passenden Methode
Aufwand und Aussagekraft sind zwei zentrale Kriterien, die du gegeneinander abwägen musst. Im Video erfährst du mehr dazu.
[00:00-01:17] – Dr. Falk Wienhold PHINEO gAG
Es gibt eine Vielzahl an Erhebungsmethoden. Die Herausforderung ist, sich diejenige rauszusuchen, die am besten zur Situation passt. Schauen wir uns beispielsweise mal Methoden an, die sich mit vergleichsweise niedrigem Aufwand umsetzen lassen: Anekdotensammlung gehören beispielsweise dazu, Foto- oder Videodokumentation oder das Monitoring von Teilnehmendenzahlen. All das sind Informationen, die wir leicht erheben können, die aber auch nur eine begrenzte Aussagekraft haben. Wenn wir nun deutlich mehr Aufwand in Kauf nehmen, gewinnen wir dadurch an Aussagekraft. Beispielsweise bei Beobachtungen, die wir festhalten, Interviews, die wir führen oder Befragungen. Bei all diesen Methoden bekommen wir deutlich mehr Information darüber, was genau passiert ist, wie sich ein Zustand verändert hat und welche Wirkungen aufgetreten sind. All das hilft uns, das Projekt gezielt zu steuern. Das Extrem wären Längsschnittstudien mit Kontrollgruppen. Hier haben wir schon einen wissenschaftlichen Anspruch, der in der Regel für die meisten Projekte gar nicht notwendig und auch sehr schwer umsetzbar ist. Gleichzeitig haben wir natürlich eine sehr hohe Aussagekraft der Daten. Zusammenfassend kann man sagen: Je belastbarer die Daten sein sollen, desto größer ist gleichzeitig der Aufwand.
[01:18-01:51] – Charlotte Buttkus PHINEO gAG
Um die Aussagekraft zu erhöhen, werden häufig mehrere Methoden kombiniert. Das nennt man dann Triangulation, bspw. wenn man eine Selbsteinschätzung mit einer Befragung kombiniert, oder einen Wissenstest mit der Einschätzung durch eine dritte Person, also beispielsweise ein Teilnehmer selbst sein Wissenszuwachs beurteilen lässt und dann nochmal den Trainer oder die Trainerin befragt, wie sie den Wissenszuwachs dieses Teilnehmers einschätzen.
Die wichtigsten Erhebungsmethoden
Welche Methode für dein Projekt passt, hängt auch davon ab, was du erheben willst. Du kannst dir zunächst vier einfache Fragen stellen:
Hier ein kleiner Deep-Dive zu den am häufigsten verwendeten niedrigschwelligen Erhebungsmethoden für Wirkungen auf Outcome-Ebene mit ihren Vor- und Nachteilen. Klick auf die Pfeile für mehr Informationen!
- In einer schriftlichen Befragung stellst du allen Beteiligten exakt dieselben Fragen.
- Quantitative Daten werden mit geschlossenen Fragen und vordefinierten Antwortkategorien oder Antwortskalen erhoben. Beispiel: Wie zufrieden bist du auf einer Skala von 1 bis 10?
- Qualitative Daten werden mit offenen Fragen erhoben. Beispiel: Was möchtest du uns zur Verbesserung der Maßnahme mitgeben?
- Formate: analog oder digital
- Eignet sich, um die Zufriedenheit von Teilnehmenden zu erfassen
- Du kannst in relativ kurzer Zeit viele Personen befragen
- Können anonym durchgeführt werden, dann keine Verzerrung von Daten aufgrund sozialer Erwünschtheit
- Eingeschränkte Informationen bei vorgegebenen Antwortoptionen
- Keine Nachfragen möglich
- Zeitintensiv in der Vorbereitung
- Risiko einer niedrigen Rücklaufquote infolge von Fragebogenmüdigkeit bei Befragten
- Eine mündliche Befragung von ausgewählten Personen deiner erreichten oder unerreichten Zielgruppe, von Expert*innen oder anderen Stakeholder*innen mithilfe eines Interviewleitfadens, der Wortlaut und Reihenfolge der zentralen Fragen vorgibt und Raum lässt für spontane Nachfragen.
- Formate: digital, per Telefon, face to face. Du dokumentierst die Antworten schriftlich oder du zeichnest sie auf.
- Hoher Erkenntnisgewinn
- Du erhältst möglicherweise Information, die in Gruppensituationen nicht geäußert würden.
- Zeitintensiv in der Durchführung und Auswertung
- Methodische Fachkenntnis notwendig
- Die Antworten der Befragten sind subjektiv verzerrt.
- Eine moderierte Gruppendiskussion zu einer eingegrenzten Fragestellung, mit der du dich auf einen bestimmten Aspekt fokussierst, zum Beispiel: Warum haben Maßnahmen nicht gewirkt oder wurden nicht angenommen? Welche unbeabsichtigten Wirkungen sind aufgetreten?
- Möglichst verschiedene Erfahrungen und Sichtweisen werden unter den Teilnehmenden ausgetauscht.
- Es werden qualitative Daten erhoben.
- Eignet sich besonders zur Ursachenforschung und dafür, Zusammenhänge besser zu verstehen.
- Du erhältst einen Einblick in die Bandbreite verschiedener Perspektiven von Stakeholder*innen oder der Zielgruppe.
- Erkenntnisgewinn dadurch, dass sich die unterschiedlichen Sichtweisen in der Diskussion befruchten können
- Durchführung und Auswertung der Fokusgruppe deutlich zeiteffizienter als Einzelinterviews
- Methodische Expertise erforderlich
- Vorbereitung ähnlich zeitaufwendig wie Einzelinterviews
- Ergebnisse der qualitativen Daten können schwer auszuwerten sein.
- Sammlung von informellen Informationen von der Zielgruppe oder anderen Stakeholdern, die sich auf deine Projektergebnisse oder die Qualität deiner Projektarbeit beziehen
- Du dokumentierst dazu erwartete und unerwartete Wirkungen, die dir Teilnehmende schreiben oder erzählen mit Fokus auf spontan berichtete Anekdoten, also kleine anschauliche Geschichten.
- Die Anekdoten sammelst du spontan und ohne Datenerhebungsinstrumente. Es handelt sich also um eine nicht standardisierte Methode: Wie und welche Daten erhoben werden, ist nicht für alle Personen der Zielgruppe gleich.
- Relativ wenig Ressourcenaufwand
- Wenig methodische Fachkenntnisse notwendig
- Emotional überzeugende Inhalte für die Außenkommunikation
- Anekdoten sind sehr stark abhängig von Interpretation.
- Sie können nicht verallgemeinert werden.
Blick in die Praxis
Lass dich von unserem Praxisbeispiel inspirieren. Welche Methoden wurden hier gewählt? Klicke auf den Pfeil rechts für mehr!
Teste dein Wissen!
Welche Erhebungsmethode wählst du?
Gut gemacht, du hast es bis hierher geschafft! Nimm dir nun einen Moment und überlege, welche Erhebungsmethode(n) für dein Projekt infrage kommt. Dokumentiere diese im Datenerhebungsplan!
