In den letzten Jahren gibt es eine Debatte über die Wirkungen und die Wirksamkeit der Sozialen Arbeit. Dabei zeigt sich, dass mitunter sehr schnell – in der Regel leider voreilig – von Wirkungen gesprochen wird, die sich de facto nicht feststellen lassen. Sebastian Ottman mit einem Plädoyer, den Wirkungsbegriff differenzierter und transparenter einzusetzen.
Wirkung: Um was geht es eigentlich?
Laut Duden ist “Wirkung” eine Veränderung, die durch eine verursachende Kraft bewirkt wird. Betrachtet man diese Definition genauer, zeigen sich zwei entscheidende Aspekte: Wir sprechen dann (und auch wirklich nur dann) von einer Wirkung, wenn sowohl
- eine Veränderung als auch
- eine ebendiese Veränderung verursachende Kraft existiert.
Besonders auf den Aspekt der “verursachenden Kraft” kommt es an, wenn man die Wirkung
des eigenen Handelns hinterfragt. Schließlich darf definitorisch nur dann von einer Wirkung gesprochen werden, wenn sich Veränderungen oder Stabilisierungen auf
ein entsprechendes Angebot zurückführen lassen.
Ein Beispiel: Wir können nur dann
von Wirkungen einer Erziehungsberatung sprechen, wenn sich die beabsichtigten Veränderungen
und/oder Stabilisierungen bei den Leistungsempfänger*innen auch feststellen lassen.
Zudem muss nachweisbar sein, dass diese
Veränderungen/Stabilisierungen mit ausreichend hoher Wahrscheinlichkeit ursächlich durch das Beratungsgebot entstanden.
Das Beispiel verdeutlicht, dass der kausale Mechanismus, den die Duden-Definition
vorgibt, eine hohe Hürde darstellt. Bevor ich das näher erkläre, möchte ich den Begriff der Wirkung noch um einen wichtigen Aspekt erweitern.
Auch eine Stabilisierung kann eine Wirkung sein
Balzer und Beywl definieren Wirkung als “eingetretene Veränderungen oder Stabilisierungen bei den Zielgruppen eines (…)
Programms (…), die ursächlich auf dieses Programm zurückgehen.” (Balzer & Beywl, 2015, S. 192).
Obschon Balzer und Beywl ähnlich der Duden-Definition einen kausalen Mechanismus vorgeben, erweitern sie ihn um einen wichtigen Aspekt: Eine Wirkung ist demnach nicht zwingend an die Veränderung eines Zustands geknüpft; vielmehr kann bereits die Stabilisierung eines Zustands eine Wirkung sein.
Diese definitorische Erweiterung ist insofern sinnvoll, als in der Sozialen
Arbeit eine Wirkung häufig darin bestehen kann, dass eine
bestimmte (Lebens-)Situation bzw. dass erworbene Kompetenzen oder Verhaltensweisen stabilisiert werden. Das bedeutet: Um in der sozialen Arbeit eine Wirkung zu
erzielen, muss nicht notwendigerweise eine positive Veränderung eintreten. Es genügt, dass ein Zustand stabilisiert wird.
Wirkung und Wirksamkeit
Neben dem Terminus der Wirkung wird häufig auch der Begriff der “Wirksamkeit” ins Feld geführt. Unter
anderem findet man beide Begriffe im Bundesteilhabegesetz, das die gesetzliche
Regelung für die Eingliederungshilfe darstellt. “Wirksamkeit” wird hierbei definiert als “Grad, zu dem ein Programm
Wirkungen auslöst, die in seinen Zielen als anzustrebend vorgegeben sind” (EvalWiki, 2020).
Mit Blick auf die Definitionen zeigt sich, das bei
“Wirkung” und “Wirksamkeit” unterschiedliche Ebenen betrachtet
werden. Während bei “Wirkung” eine einzelne Person, z.B. die Nutzer*in eines
sozialen Angebotes, in den Fokus rücken, wird beim Begriff der “Wirksamkeit” eine
komplette Maßnahme betrachtet.
Übertragen auf die Arbeitsfelder der Sozialen Arbeit
bedeutet das:
- Mit der Wirkung kann eine Aussage darüber getroffen werden, welche Wirkung bei einem/r Nutzer*in eines sozialen Angebotes entstanden ist, sowie über das Ausmaß des konzeptionell beabsichtigen Zusammenwirkens zwischen Anbieter*innen und Nutzer*innen (Koproduktion sozialer Dienstleistungen).
- Die Wirksamkeit gibt Auskunft darüber, ob ein Angebot wirksam erbracht wurde. Dieser Nachweis ist u.a. für die Legitimation gegenüber den Fördergeberinnen oder Kostenträgern wichtig.
Was allerdings beide Begriffe eint, ist der kausale Mechanismus.
Die Herausforderung der Kausalität
Aber wann lässt sich nun davon sprechen, dass ein soziales
Angebot oder eine Maßnahme eine Wirkung erzielt bzw. wirksam ist? Nach den oben
aufgeführten Definitionen immer dann, wenn empirisch nachgewiesen werden kann, dass
die eingetretenen Veränderungen oder Stabilisierungen mit großer Wahrscheinlichkeit
auf das Angebot oder die Maßnahme rückführbar sind.
Um einen solchen empirischen Nachweis zu erbringen, wird allerdings –
sozialwissenschaftlich betrachtet – eine Vergleichsgruppe benötigt. Es werden
also nicht nur die Nutzer*innen in der Maßnahme untersucht, sondern immer auch ähnliche Personen mit den gleichen Problemlagen, die nicht an der Maßnahme
teilgenommen haben. In den Arbeitsfeldern der Sozialen Arbeit ist es jedoch oft
sehr schwierig, wenn nicht aus ethischen Gründen sogar unmöglich, eine solche
Vergleichsgruppe zu bilden. Meist aufgrund der Tatsache, dass man solche Vergleichspersonen nicht erreicht oder aus anderen Gründen nicht untersuchen kann
oder darf, z.B. weil ein Angebot nicht bestimmten Personen vorenthalten werden darf.
Eine Idee wäre, den Wirkungsbegriff komplett von seinem kausalen
Mechanismus zu entkoppeln – sinnvoll wäre das nicht, da die Kausalität eine zentrale Rolle einnimmt. Eine bessere
Lösung ist, anzuerkennen, dass Angebote und Maßnahmen in der Sozialen Arbeit in
eine vielfältige soziale Realität eingebettet sind und es daher auch eine
Vielzahl von Kontextfaktoren gibt, die gleichermaßen die avisierten Wirkungen
beeinflussen können.
Diesen Ansatz greift die sogenannte Realistic Evaluation auf,
die davon ausgeht, dass eine Wirkung immer durch einen Mechanismus und den
jeweiligen Kontext entsteht (vgl. Pawson & Tilley, 1997). Insofern ist es nicht nur
sinnvoll, sondern auch notwendig, im Rahmen einer Wirkungsanalyse stets die
Kontextfaktoren zu berücksichtigen und – sofern eine Vergleichsgruppe gebildet
werden kann – möglichst viele dieser Kontextfaktoren als Störvariablen in das
Design mitaufzunehmen. So kann auch geklärt werden, welchen Anteil eine
Maßnahme an der festgestellten Wirkung tatsächlich hat. Auf diese Weise nähert man
sich möglichst exakt dem kausalen Mechanismus der Maßnahme bzw. des Angebotes
an.
Plädoyer für einen differenzierten Umgang
Ein Vergleichsgruppendesign ist in der Sozialen Arbeit nur
schwer umsetzbar. Daher erscheint es sinnvoll, bei einer Wirkungsanalyse auch
mit der Methode der Wirkungsplausibilisierung (vgl. Balzer, 2012; Balzer & Beywl, 2015) zu arbeiten – und diese sowohl
in begrifflicher Abgrenzung als auch ergänzend zu einem empirisch-kausalen
Wirkungsnachweis einzusetzen.
Im Rahmen einer solchen Plausibilisierung wird etwa durch Auswertungsworkshops mit Fachkräften und/oder durch Interviews mit
Nutzer*innen eine Einschätzung abgegeben, welchen Anteil das Angebot an den
Veränderungen und Stabilisierungen hat und welche weiteren Kontexteinflüsse die
erzielten Wirkungen beeinflusst haben, z.B. das familiäre oder soziale Umfeld
des/der Nutzer*in des Angebotes.
Um terminologisch so exakt wie möglich zu sein, sollte der
Wirkungsbegriff differenziert eingesetzt und nur dann von einer nachgewiesenen Wirkung
gesprochen werden, wenn diese mit einem forschungsmethodischen Nachweis
einhergeht. Die nachfolgende Grafik enthält einen Vorschlag für einen
differenzierten Umgang:
Lassen sich lediglich Veränderungen oder Stabilisierungen bei der Zielgruppe der Maßnahme/des Angebots erfassen, sollte konsequenterweise “nur” von Effekten gesprochen werden (vgl. Ottmann & König, 2018, 2019). Wurde darauf aufbauend eine Wirkungsplausibilisierung durchgeführt, könnte man von einer plausibilisierten Wirkung sprechen. Von einer nachgewiesenen Wirkung bzw. allgemein von Wirkung sollte hingegen immer nur dann die Rede sein, wenn sich ein kausaler Mechanismus methodisch sauber nachweisen lässt – also ein Nachweis, dass die Veränderungen oder Stabilisierungen mit hoher Wahrscheinlichkeit infolge der Maßnahme oder des Angebots entstanden sind. Für diesen Nachweis ist jedoch eine Kontroll- oder Vergleichsgruppe unabdingbar.
Fazit
Uns allen wäre geholfen, gingen wir sorgsamer mit dem Terminus “Wirkung” um. Wenn wir ihn nicht wie derzeit inflationär benutzen, sondern
präziser verwenden. Wenn wir nur dann von einer Wirkung sprechen, wenn diese realistisch,
transparent und nachvollziehbar ist. Und nur dann von einer “nachgewiesenen Wirkung”,
wenn diese auch forschungsmethodisch valide erfasst wurde.
Die oben skizzierte Unterscheidung – “Effekt”, “plausibilisierte Wirkung” und “nachgewiesene Wirkung” – ermöglicht eine
Aussage darüber, wie belastbar die gefundenen Ergebnisse sind und welche
Methoden beim Nachweis zum Einsatz kamen.
Da es in vielen Arbeitsfeldern der Sozialen Arbeit schwierig
ist, eine Kontrolle bzw. Vergleichsgruppe zu bilden, wird ein für die Praxis
gangbarer Weg darin bestehen, die plausibilisierte Wirkung darzustellen. Mit
der Entwicklung von Wirkmodellen und dem Aufbau eines wirkungsorientierten
Monitorings (nach dem Vorgehen des Wirkungsradars, vgl.
Ottmann & König, 2019) sowie der abschließenden Durchführung einer Wirkungsplausibilisierung ist das
ein realistischer Weg.
Weitere Informationen zum Thema Wirkungsorientierung in der
Sozialen Arbeit gibt es in einem kostenfreien
Online-Kurs der Evangelischen Hochschule Nürnberg auf der Plattform OPEN vhb.
Literaturtipps
- Balzer, L. (2012). Der Wirkungsbegriff in der Evaluation – eine besondere Herausforderung. In G. Niedermair (Hrsg.), Evaluation als Herausforderung der Berufsbildung und Personalentwicklung (1. Auflage, S. 125–141). Linz: Trauner.
- Balzer, L. & Beywl, W. (2015). evaluiert: Planungsbuch für Evaluationen im Bildungsbereich (1. Auflage.). Bern: hep verlag ag.
- Ottmann, S. & König, J. (2018). Was
wirkt wie? – Konzeptionelle Überlegungen zur Messung und Analyse von Wirkungen
in der Sozialen Arbeit. Der Wirkungsradar des Instituts für Praxisforschung und
Evaluation der Evangelischen Hochschule Nürnberg. Forschung, Entwicklung,
Transfer – Nürnberger Hochschulschriften
- Ottmann, S. & König, J. (2019). Wirkungsanalyse in der Sozialen Arbeit. Differenzierung ist nötig. Soziale Arbeit, 68 (10), 368–376.
- Pawson, R. & Tilley, N. (1997). Realistic evaluation. London ; Thousand Oaks, Calif: Sage.
Sebastian Ottmann
… ist wissenschaftlicher Mitarbeiter am Institut für Praxisforschung und Evaluation der Evangelischen Hochschule Nürnberg und leitet dort das Kompetenzzentrum “Wirkungsorientierung in der Sozialen Arbeit”. Seine Arbeitsschwerpunkte sind Wirkungsorientierung und Wirkungsanalysen in der Sozialen Arbeit, die Durchführung von Evaluationen und der Aufbau von Datenkompetenz in Organisationen der sozialen Arbeit. Sein lesenwerter Blog: https://blog.soziale-wirkung.de.
