Et si, après tout, l’évaluation c’était cool ?

Posted on 20 juin 2023 par Stéphane Vincent

L’évaluation ? Une très bonne méthode d’innovation publique, mais qui se serait faite une très mauvaise réputation! Reconnaissons-le, nous aimons bien cette discipline, mais surtout quand c’est pour les autres… Après avoir nous-mêmes souvent tourné autour du pot (une expérience de prospective créative sur l’évaluation, des réflexions avec notre communauté, un projet de CIFRE annulé en cours de route), à la 27e Région nous sommes peut-être en train de redécouvrir, un peu penauds, en quoi l’évaluation pourrait nous être très utile à l’avenir. On vous explique pourquoi et comment.

Une enquête au long cours

A la 27e Région, nous disons souvent que nous menons une enquête au long cours sur la transformation publique, que cette enquête a démarré à notre création en 2008, qu’elle utilise comme véhicules des programmes de recherche-action, et qu’elle est passée par plusieurs étapes. Pour faire court : d’abord la création de méthodes d’innovation jusqu’en 2012 environ (Territoires en Résidences), puis le défrichage des questions de capacitation à l’innovation (la création de laboratoires d’innovation publique dans le cadre de la Transfo), et depuis 2019 avec Enacting the commons et jusqu’à ce jour, les systèmes de pouvoir et les enjeux de gouvernance.

Ce récit est certes très utile pour montrer que notre stratégie évolue par étapes, que nos sujets d’exploration changent, voire montent en gamme. Il donne le sentiment -à juste titre- que nous avons cumulé et documenté beaucoup d’expériences et de connaissances, notamment sous la forme de retours d’expériences, et beaucoup de gens viennent nous voir pour en bénéficier. Et nous voyons bien que nous produisons des effets, des plus directs (contribuer à améliorer les dispositifs publics sur lesquels nous menons des expériences) aux plus indirects (par exemple influer sur les trajectoires professionnelles des personnes avec lesquelles nous travaillons).

Et si on regardait vraiment sous le capot ?

Pour autant, pouvons-nous nous satisfaire de ce constat assez général et un peu superficiel ? Que savons-nous en profondeur des effets que nous produisons, y compris les plus indésirables et qu’il faudrait éviter ? Et si mieux les identifier nous permettait de progresser, de concevoir de nouveaux programmes capables de produire le plus d’effets positifs possibles, sur des enjeux toujours plus complexes ? D’être plus précis dans nos argumentaires, lorsque nous peinons à trouver des financements ? De mieux articuler les effets que nous produisons avec ceux de nos partenaires ? Et à terme, de transmettre des connaissances plus robustes autour de nous ?

Plusieurs de ces questions se sont progressivement imposées à nous, particulièrement depuis la pandémie, lorsque nous avons senti qu’il devenait plus difficile de mobiliser des collectivités dans nos expérimentations. C’est pourquoi, depuis 2023 nous nous sommes lancés dans une réflexion visant à questionner et améliorer le modèle promu par la 27e Région. Ce travail a notamment pris la forme d’une enquête sur nos modes de financement, d’une réflexion sur nos thèmes de travail à 5 ans, et d’un effort d’ouverture à de nouvelles théories et concepts dans le cadre du programme Les Labonautes.

L’évaluation, dis-donc mais c’est cool ! 

Notre redécouverte date d’échanges début 2021 avec la chercheuse canadienne Lindsay Cole, puis durant le programme des Labonautes qu’elle a partiellement inspiré. En premier lieu, notre motivation première n’était pas seulement de progresser en matière de mesure d’impact, mais plus généralement de sortir du flou en vigueur dans le secteur de l’innovation publique, de plus en plus vecteur de confusion : tout le monde prétend vouloir innover, transformer, co-concevoir…d’accord, mais dans quel but ultime, et comment ? Quels sont les résultats concrets à la fin ? Comment distinguer les démarches engagées et rigoureuses des initiatives dictées par la comm’ et l’innovation-washing ? Nous voulions ouvrir cette boîte noire dans laquelle nous nous étions collectivement enfermés à force d’être aussi peu clairs sur nos finalités réelles et la façon dont nous entendions concrètement les atteindre, mais aussi les mesurer. 

Prenons l’exemple des programmes d’innovation. Lorsque nous concevons ces programmes, nous avons tendance à partir des contraintes, à penser les choses dans l’ordre chronologique, en commençant par le début, en raisonnant par phase successives… En février 2023, lors d’une session des Labonautes co-animée par Thomas Delahaye (Quadrant Conseil) et François Jégou (Strategic Design Scenarios), nous avons réalisé qu’il serait plus intéressant de concevoir plus systématiquement nos programmes en partant de la fin, c’est-à-dire des effets précis que nous en attendions à leur terme. En fait ça parait tout bête… Mais ça signifie concrètement qu’expliciter les critères de jugement de nos programmes devient déterminant, au point qu’ils devraient faire l’objet d’un choix mûrement réfléchi, et être établis avec nos adhérents et partenaires. 

Redécouvrir l’évaluation

C’est pourquoi nous avons eu envie d’aller plus loin, en nous formant à l’évaluation avec l’agence Quadrant Conseil. La formation a débuté le 12 juin, et puisque des places étaient disponibles nous l’avons ouvert à des partenaires et complices motivés de la 27e Région : la DITP, le TiLab, la Ville de Paris, l’Eurométropole de Lille, la coopérative Datactivist, la Fondation de France, tous en pleine réflexion sur les enjeux d’évaluation. Pour donner un caractère encore plus opérationnel à la formation, nous avons proposé d’appliquer la formation à un cas pratique précis, notre nouveau programme de recherche-action REBONDS, consacré aux nouveaux paradigmes de développement économiques locaux. 

D’ores et déjà, la formation a permis de voir en quoi la démarche d’évaluation nous oblige à repenser des rouages de REBONDS en ré-interrogeant davantage ses finalités. Elle invite à mieux cartographier les parties prenantes de ce programme, leur rôle dans les effets attendus de l’intervention, à mieux identifier ses chemins causaux, les conditions nécessaires au changement et leurs entrelacements, et en quoi les contextes de chaque territoire où sera appliqué le programme constituent des moteurs de changements.

La formation est encore en cours, mais ce qu’elle nous apprend déjà confirme que l’évaluation répond parfaitement à l’objectif de clarification évoqué plus haut. Ce que l’on appelle évaluation par la théorie, c’est l’idée qu’il est possible de rendre explicites toutes les hypothèses que l’on fait sur des actions menées et la manière dont elles produisent des effets, puis de les tester en s’appuyant sur une collecte de données empiriques. Il est donc possible d’élaborer la théorie du changement d’un programme comme REBONDS, mais aussi d’un laboratoire d’innovation ou de toute structure supposée produire de l’innovation (nous l’avons nous-mêmes testé sur la 27e Région il y a quelques mois), puis de l’évaluer pour mieux faire évoluer cette théorie, comme les versions successives d’un système d’exploitation. 

Faut-il pour autant chercher à devenir des évaluateurs ou évaluatrices professionnels ? Pas nécessairement. Une autre logique, suggérée par Thomas Delahais, , consiste à se placer dans une posture évaluative. Adopter la posture évaluative, c’est en quelque sorte regarder l’action à travers les yeux d’un·e évaluateur.rice : quel était le problème à résoudre, quelles solutions sont proposées, ont-elles une véritable chance d’avoir un effet, dans quels cas ? Et quelles sont les conséquences effectivement constatées, qu’a-t-on appris de l’action ? Cette casquette, tout le monde peut la porter à un moment donné du projet, avec des apports précieux pour la suite.

Autour de nous

Visiblement, nous sommes loin d’être les seuls à re-découvrir les vertus de l’évaluation dans le secteur de l’innovation publique et des transitions écologiques et sociales. Dans le cadre de son projet stratégique à 2024, le TiLab s’est adjoint les compétences de l’agence Phare pour intégrer une démarche d’évaluation; la DITP organise une matinée durant laquelle elle va capitaliser sur les évaluations de plusieurs de ses programmes d’innovation; nos amis de la Fabrique des transitions s’inscrive eux-aussi, avec tout leur réseau, dans une démarche d’évaluation; la Fondation de France questionne ses stratégies d’évaluation dans le cadre du programme expérimental « Inventer Demain »… Formulons le souhait qu’un ré-enchantement de l’évaluation, productrice de sens et de progrès social, irrigue toute la sphère de l’innovation publique ! N’hésitez pas à revenir vers nous, si vous aussi vous avez trouvé de bonnes raisons de (re)découvrir l’évaluation …

Quelques ressources pour aller plus loin :