L’évaluation du projet pilote Portier Basel de la fondation Bonjour nous a récemment permis d’aborder un terrain inconnu. En effet, innovateur et participatif, le projet pilote évoluait en permanence, et ce même durant la période d’évaluation. Le défi à relever : respecter le caractère agile des projets participatifs et rendre explicites des effets implicites, tout en préservant le caractère scientifique et l’objectivité de l’évaluation.
d.g.à.d. : Sam Schneider / Francesca Rickli
Le projet pilote Portier Basel de la fondation Bonjour a pour objectif de rendre les informations et les offres dans deux quartiers de Bâle plus accessibles pour toutes et tous, et d’y favoriser ainsi l’entraide et la coopération. En ce sens, la contribution des habitant·e·s des quartiers à la conception du projet fut décisive. En tant qu’évaluatrices externes, nous avons accompagné le projet durant une année et nous avons ainsi pu élaborer de nouvelles connaissances relatives à son impact sur les différents groupes-cibles et la reproductibilité de la démarche du projet.
Le caractère agile et participatif du projet exigeait une approche tout aussi innovante et agile sur le plan de l’évaluation. Les différentes parties prenantes du projet ont par conséquent été impliquées dans l’évaluation et l’interprétation des résultats. Le processus d’évaluation fut documenté en permanence sur un site internet et rendu accessible à toutes les personnes intéressées. De plus, les méthodes de collecte des données étaient ponctuellement adaptées aux changements intervenant en cours de projet. En parallèle, il a fallu garantir le respect des critères techniques des évaluations en matière de scientificité, d’objectivité et de fiabilité. L’entretien de Sam Schneider, responsable du projet de la fondation Bonjour et Francesca Rickli, évaluatrice responsable de projet de socialdesign, vous révèle dans quelle mesure ces objectifs ont été atteints, quels défis les projets participatifs recèlent, et quelle valeur-ajoutée peut en découler.
Le caractère participatif du projet pilote Portier Basel a engendré en cours de projet des développements imprévus et parfois même des changements de cap fondamentaux. Comment avez-vous pu les concilier avec la démarche très structurée d’une évaluation? Quels étaient les principaux défis à cet égard?
Sam Schneider : Le «corset» de l’évaluation a été un appui important dans ce projet par ailleurs sans présupposés. En particulier, elle nous a défini un calendrier à respecter. Le principal défi fut de garantir l’indépendance et la neutralité de l’évaluation. Le projet a largement tiré profit des résultats intermédiaires de l’évaluation. De plus, des discussions importantes que nous voulions utiliser dans le projet ont été lancées dans le cadre des collectes de données. Pour autant, le projet ne devait pas influencer l’évaluation.
Francesca Rickli : Préserver la nécessaire distance et la neutralité a certainement été un grand défi. En même temps, une évaluation était possible uniquement grâce aux informations que nous, en tant qu’évaluatrices, recevions de l’équipe de projet. Comprendre et pouvoir tenir compte des développements du projet nécessitait un échange étroit avec sa direction. Au début, pour les évaluatrices que nous sommes, nous distancier de notre schéma de pensée habituel et des structures claires normalement nécessaires lors d’une évaluation relevait du défi. Nous devions par conséquent nous focaliser davantage sur l’objectif et moins sur un dispositif d’évaluation et une méthodologie prédéfinie. Nous avons en premier lieu dû assimiler que l’objet de l’évaluation évolue avec l’évaluation et que ceci constitue un élément essentiel de l’évaluation.
Sam Schneider : Autre fait nouveau et passionnant pour nous, les enseignements, tant du projet que de l’évaluation, étaient en permanence documentés sur le site web de du projet.
Francesca Rickli : De notre point de vue d’évaluatrices, cette documentation était également passionnante, mais aussi exigeante. Tous les résultats devaient être analysés et mis à disposition en gardant à l’esprit qu’ils étaient accessibles à toutes et tous sur le site web. Travailler de manière scientifique et documenter ce travail en conséquence était déterminant à cet égard. Dans le cadre de projets participatifs en particulier, l’objectif n’est pas de juger l’engagement d’individus, mais d’identifier les connexions et les effets globaux.
En réalisant l’évaluation, qu’est-ce qui vous a semblé important lors de la collaboration ?
Sam Schneider : Au début, nous avons consacré suffisamment de temps pour coordonner et développer une compréhension commune de l’évaluation et de son objet : c’était très important. Plus un projet est en mutation, plus il importe de s’assurer qu’on parle de la même chose.
Francesca Rickli : Au début du processus d’évaluation, nous avons élaboré un modèle d’impact, comme toujours lors d’évaluations. Cet outil était important car il nous a permis d’une part de bâtir une compréhension de quoi il retourne à chaque étape du projet, des objectifs et effets attendus et de l’horizon temporel. D’autre part, nous n’avons ainsi jamais perdu de vue ce que nous voulons mesurer par cette évaluation, et ce même lorsque le cours du projet se modifiait. De plus, l’évaluation n’aurait sans doute pas pu livrer des résultats suffisamment parlants s’il n’y avait eu une bonne communication, une collaboration étroite et une confiance mutuelle.
De quoi doit tenir compte une évaluation de projets participatifs agiles ? Et que conseillez-vous à d’autres mandant·e·s ?
Sam Schneider : Le projet Portier Basel est participatif et la définition des groupes-cibles était ouverte. Dès lors, des personnes très différentes ont contribué au déroulement du projet pendant des durées variables. Pour l’évaluation, cela signifie que nous avons à chaque fois interrogé des personnes différentes lors des recueils de données successifs. Nous avons ainsi disposé de perspectives très différentes, mais n’avions pas de garantie que toutes les personnes présentes pouvaient elles-mêmes véritablement comprendre le déroulement du projet. Je recommande par conséquent, même pour les projets participatifs avec une définition des groupes-cibles ouverte, de former un groupe fixe, impliqué dans les décisions du projet, et apte à donner les informations qui s’y rapportent lors d’une évaluation.
Francesca Rickli : De notre point de vue d’évaluatrices aussi, être en mesure d’interroger à plusieurs reprises un groupe défini de personnes aurait été optimal. Dans l’ensemble, nous avons procédé à une approche très qualitative de l’évaluation. L’objectif de l’évaluation a ainsi été atteint. Pour autant, il vaudrait la peine pour une prochaine évaluation de réfléchir à comment travailler ajouter un travail quantitatif, sans que le contenu perde en profondeur.
Sam Schneider : Les résultats des projets participatifs peuvent sembler moins productifs ou concrets que ceux des projets linéaires. Les projets participatifs ont des effets grâce aux gens et auprès des gens. Il n’est par conséquent pas simple d’évaluer leurs effets d’un point de vue neutre. Il importe donc que les destinataires de rapports d’évaluation de projets participatifs prennent conscience de cette particularité pour être en mesure d’appréhender les résultats à leur juste valeur. C’est pourquoi les attentes vis-à-vis de l’évaluation et ses limites doivent dès le début être clarifiées avec toutes les parties prenantes.
Quelle valeur-ajoutée a résulté de l’évaluation pour le projet pilote ?
Sam Schneider : De manière générale, nous avons profité des connaissances et de la perspective externe des évaluatrices. Tant les résultats intermédiaires que les résultats finaux nous ont permis d’adapter le projet, et nous avons le sentiment que le projet dans son ensemble a aussi gagné en professionnalité grâce à l’évaluation.
Quels sont les enseignements du projet commun que socialdesign souhaite tirer pour de nouvelles évaluations ?
Francesca Rickli : Devoir préparer les résultats intermédiaires pour les groupes-cibles dans un laps de temps très court nous a obligés à analyser et à tirer des conclusions en permanence. Certaines de ces conclusions se sont confirmées ultérieurement, d’autres ont été abandonnées. Il s’agit là aussi d’une acquisition de connaissances. Ne pas séparer nettement les étapes de collecte de données, d’analyse des données et de conclusion comme c’est le cas habituellement, et les réaliser plusieurs fois au cours du projet a représenté une importante valeur-ajoutée à nos yeux. Pour nous en tant évaluatrices, cette agilité, et une certaine instantanéité, ont aussi créé un plus vaste espace de réflexion ouverte et commune et d’analyses discursives. La démarche d’évaluation en devient certes plus ouverte et créative, mais n’en devient pas moins scientifique. À nos yeux, cette approche est intéressante également pour de nouveaux projets d’évaluation.
Un grand merci pour cet aperçu passionnant de la coopération dans le cadre de cette évaluation !
