Mit der Evaluation des Pilotprojekts Portier Basel der Stiftung Bonjour durften wir kürzlich Neuland betreten. Denn das innovative und partizipative Pilotprojekt befand sich auch während der Evaluationsperiode in stetigem Wandel. Die Herausforderung dabei: Dem agilen Charakter von Partizipationsprojekten Rechnung tragen und implizite Wirkungen explizit machen, ohne dass die Evaluation an Wissenschaftlichkeit und Objektivität einbüsst. Gemeinsam mit der Stiftung Bonjour ziehen wir Bilanz aus dieser etwas anderen Evaluation.
v.l.n.r.: Sam Schneider, Francesca Rickli
Das Pilotprojekt Portier Basel der Stiftung Bonjour hat zum Ziel, Informationen und Angebote in zwei Basler Quartieren für alle zugänglicher zu gestalten und das Füreinander und Miteinander im Quartier zu fördern. Dabei gestaltet die Quartierbevölkerung das Projekt massgeblich mit. Als externe Evaluatorinnen durften wir das Projekt ein Jahr lang begleiten und Erkenntnisse zur Wirkung für die unterschiedlichen Zielgruppen sowie der Multiplizierbarkeit des Projektansatzes sammeln.
Aufgrund des agilen und partizipativen Charakters des Projekts war hierzu ein ebenso innovativer und flexibler Evaluationsansatz gefragt. So wurden die unterschiedlichen Anspruchsgruppen des Projekts in die Auswertung und Interpretation der Ergebnisse einbezogen. Der Evaluationsprozess wurde auf einer Website laufend dokumentiert und für alle Interessierten zugänglich gemacht. Zudem wurden die Datenerhebungsmethoden punktuell an die Veränderungen im Projektverlauf angepasst. Gleichzeitig war zu gewährleisten, dass die fachlichen Massstäbe für Evaluationen in Bezug auf Wissenschaftlichkeit, Objektivität und Zuverlässigkeit eingehalten werden konnten. Im Gespräch zwischen Sam Schneider, zuständiger Projektleiter der Stiftung Bonjour und Francesca Rickli, projektleitende Evaluatorin bei socialdesign, lesen Sie, inwiefern dies gelungen ist, welche Herausforderungen bei der Evaluation von Partizipationsprojekten bestehen und welcher Mehrwert daraus entstehen kann.
Aufgrund des partizipativen Charakters des Pilotprojekts Portier Basel haben während dem Projektverlauf Entwicklungen und teilweise auch grundlegende Kursänderungen stattgefunden, die nicht vorhersehbar waren. Wie liess sich dies mit dem sehr strukturierten Vorgehen einer Evaluation vereinbaren? Was waren die grössten Herausforderungen dabei?
Sam Schneider: Im ergebnisoffenen Projekt war das «Korsett» der Evaluation ein wichtiger Halt. Es hat uns nicht zuletzt einen zeitlichen Rahmen vorgegeben, den es einzuhalten galt. Die Herausforderung lag vor allem darin, die notwendige Unabhängigkeit der Evaluation zu wahren und sich ihrer neutralen Beurteilungsfunktion stets bewusst zu sein. Das Projekt hat sehr von den Zwischenergebnissen der Evaluation profitiert und im Rahmen der Datenerhebungen wurden wichtige Diskussionen angestossen, die wir im Projekt nutzen wollten. Gleichzeitig durfte das Projekt die Evaluation nicht beeinflussen.
Francesca Rickli: Die notwendige Distanz und Neutralität zu wahren war sicher eine grosse Herausforderung. Gleichzeitig war eine Evaluation aber auch nur dank der Informationen, die aus dem Projektteam zu uns als Evaluatorinnen geflossen sind, möglich. Ein enger Austausch mit der Projektleitung war notwendig, um die Entwicklungen im Projekt verstehen und berücksichtigen zu können. Für uns Evaluatorinnen war es anfangs herausfordernd, vom gewohnten Denken und den klaren Strukturen, die normalerweise bei einer Evaluation erforderlich sind, Abstand zu nehmen. Dies bedeutete, dass wir uns mehr auf das Ziel fokussierten und weniger auf ein starres Evaluationsdesign und eine vordefinierte Methodik. Wir mussten erst verstehen, dass sich der Evaluationsgegenstand mit der Evaluation weiterentwickelt und dass dies ein wichtiger Bestandteil der Evaluation ist.
Sam Schneider: Sehr neu und spannend für uns war auch, dass sowohl die Erkenntnisse aus dem Projekt als auch die Erkenntnisse aus der Evaluation laufend auf der Projektwebseite dokumentiert wurden.
Francesca Rickli: Aus Sicht der Evaluatorinnen war das ebenfalls spannend, aber auch herausfordernd. Sämtliche Ergebnisse mussten im Bewusstsein analysiert und aufbereitet werden, dass sie auf der Website allen zugänglich sind. Dabei war von zentraler Bedeutung wissenschaftlich zu arbeiten und dies auch so zu dokumentieren. Gerade bei partizipativen Projekten geht es nicht darum, das Engagement einzelner Personen zu beurteilen, sondern um die Identifikation der übergeordneten Zusammenhänge und Wirkungen.
Was habt ihr bei der Durchführung der Evaluation in der Zusammenarbeit als wichtig empfunden?
Sam Schneider: Es war sehr wichtig, dass wir uns am Anfang genügend Zeit für die Abstimmung und die Entwicklung eines gemeinsamen Verständnisses in Bezug auf die Evaluation und den Evaluationsgegenstand genommen haben. Je stärker ein Projekt im Wandel ist, desto wichtiger ist es, sicherzustellen, dass man vom selben spricht.
Francesca Rickli: Wichtig war auch, dass wir am Anfang des Evaluationsprozesses wie üblich bei Evaluationen ein Wirkungsmodell erarbeitet haben. Durch dieses Wirkungsmodell konnten wir einerseits ein Verständnis dafür aufbauen, um was es im Projekt in welchem Schritt geht und welche Ziele und Wirkungen in welchem Zeithorizont erwartet werden. Andererseits haben wir so auch bei sich wandelndem Projektverlauf nie aus den Augen verloren, was wir mit der Evaluation messen möchten. Zudem hätte die Evaluation ohne eine gut funktionierende Kommunikation, eine enge Zusammenarbeit und gegenseitiges Vertrauen wohl nicht genügend aussagekräftige Ergebnisse liefern können.
Was gilt es bei der Evaluation von agilen Partizipationsprojekten zu beachten und was würdet ihr anderen Auftraggebenden mit auf den Weg geben?
Sam Schneider: Da das Projekt Portier Basel nicht nur partizipativ ist, sondern die Zielgruppen generell offen sind, haben im Projektverlauf sehr unterschiedliche Personen für eine unterschiedliche Dauer mitgewirkt. Für die Evaluation bedeutete dies, dass an den unterschiedlichen Erhebungszeitpunkten immer wieder andere Leute befragt wurden. Einerseits waren so sehr unterschiedliche Perspektiven vorhanden, andererseits war jedoch nicht gewährleistet, dass alle Anwesenden den Projektverlauf selbst wirklich nachvollziehen konnten. Ich würde daher empfehlen, dass auch in partizipativen Projekten mit offenen Zielgruppen eine feste Gruppe gebildet wird, welche bei Entscheiden im Projekt involviert ist und bei einer Evaluation darüber Auskunft geben kann.
Francesca Rickli: Auch aus der Perspektive von uns als Evaluatorinnen wäre es optimaler gewesen, wenn eine definierte Gruppe von Personen mehrmals hätte befragt werden können. Insgesamt sind wir bei der Evaluation sehr qualitativ vorgegangen. Dies hat das Evaluationsziel erfüllt, trotzdem wäre bei einer weiteren Evaluation zu überlegen, inwiefern zusätzlich quantitativ gearbeitet werden kann, ohne an inhaltlicher Tiefe zu verlieren.
Sam Schneider: Die Ergebnisse bei partizipativen Projekten mögen weniger ergiebig oder konkret erscheinen als bei linear ablaufenden Projekten. Partizipative Projekte wirken durch Menschen und bei Menschen. Daher ist es nicht einfach, die Wirkung daraus aus einer neutralen Perspektive zu beurteilen. Es ist wichtig, dass die Adressat:innen von Evaluationsberichten aus partizipativen Projekten ein Bewusstsein für diese Eigenheit entwickeln, damit sie die Ergebnisse richtig einordnen können. Daher sollte am Anfang mit allen Beteiligten geklärt werden, was die Anforderungen an die Evaluation sind und wo aber auch ihre Grenzen liegen.
Welcher Mehrwert resultiert für das Pilotprojekt aus der Evaluation?
Sam Schneider: Wir haben generell sehr vom Wissen und dem externen Blickwinkel der Evaluatorinnen profitiert. Wir konnten sowohl aus den Zwischen- als auch den Schlussresultaten sehr direkt Anpassungen im Projekt vornehmen und haben das Gefühl, dass das Projekt durch die Evaluation insgesamt an Professionalität gewonnen hat.
Was möchte socialdesign aus dem gemeinsamen Projekt für die weitere Evaluationspraxis mitnehmen?
Francesca Rickli: Indem wir die Zwischenergebnisse innerhalb von kurzer Zeit für die Zielgruppen aufbereiten mussten, war es notwendig, laufend zu analysieren und Schlussfolgerungen zu entwickeln. Einige Schlussfolgerungen haben sich zu einem späteren Zeitpunkt bestätigt, andere wurden verworfen. Auch dies ist ein Erkenntnisgewinn. Die Schritte Datenerhebung, Datenanalyse und Schlussfolgerungen nicht wie üblich klar zu trennen, sondern sie mehrmals im Projekt durchzuführen, stellte aus unserer Sicht ein grosser Mehrwert dar. Durch diese Agilität und eine gewisse Schnelllebigkeit hat sich auch für uns als Evaluatorinnen mehr Raum für offenes gemeinsames Denken und diskursive Analysen ergeben. Das Evaluationsvorgehen wird dadurch zwar offener und kreativer, jedoch nicht weniger wissenschaftlich. Diesen Ansatz empfinden wir auch für weitere Evaluationsprojekte als interessant.
Herzlichen Dank für diesen spannenden Einblick in die Zusammenarbeit dieser Evaluation.
