© L. Russi, Hosted by EDP Sciences

« Une fois la logique de l’intervention circonscrite » : cet énoncé que Ridde et Dagenais (2012, p. 26) placent au premier chapitre d’un manuel d’introduction à l’évaluation de programmes renvoie à un présupposé fondamental de toute évaluation – à savoir que le programme suit une logique qui peut être décrite sous forme d’une séquence de cause-effet. Dans le même ouvrage, Porteous (2012, p. 91) ajoute que « s’il n’existe aucun modèle logique, l’élaboration d’un tel outil devient une première étape cruciale dans tout processus d’évaluation ». Cependant, elle accompagne cette remarque d’une mise en garde : « On risque de trop simplifier le programme, par exemple en omettant d’illustrer de façon adéquate le contexte du programme et les influences externes qui agissent sur lui » (Porteous, 2012, p. 92), ou encore : « on risque de transformer des systèmes complexes en systèmes linéaires » (Porteous, 2012, p. 93). Elle ajoute qu’un modèle logique sert à « démontrer les relations causales entre les activités et les résultats » et à « déterminer qui est responsable de tels résultats » (Porteous, 2012, p. 92) : il a pour but de « bien démontrer la séquence des changements souhaités par le groupe cible » (Porteous, 2012, p. 95) selon un modèle à cascade verticale ou à succession horizontale, où plusieurs « ordres de résultats [à court, moyen, et longue terme] s’articulent… de façon séquentielle » (Porteous, 2012, p. 96) et où l’impact est ce qui se trouve « en bout de ligne » (Porteous, 2012, p. 97) de cette séquence de résultats.

Cela étant, il convient de noter que deux types de programmes – qui portent sur l’évolution de la relation humains/milieux dans une perspective de durabilité, impliquant la présence systématique de rétroactions – rendent le modèle logique « séquentiel » particulièrement inadapté¹.

Un premier type est celui des projets d’intendance (stewardship) des socioécosystèmes². D’un côté, la notion de modèle logique par succession de résultats présuppose « une connaissance préalable du déroulement exact d’une innovation », tandis que « dans les milieux complexes et très dynamiques, les pré-acquis ne sont pas possibles ni souhaitables » (Westley et al., 2006, p. 237, cités par Porteous, 2012, p. 93). De leur côté, les projets d’intendance portent sur des systèmes socioécologiques dont l’organisation n’est pas déterminable en amont par un gestionnaire humain (Mathevet et Bousquet, 2014, p. 92 et suiv.), mais ressort de la globalité des « solidarités » entre humains et milieux (Mathevet, 2012). Ce type de projet met donc en crise le modèle d’intervention axé sur un gestionnaire (humain) et un « récepteur » (naturel) de cette gestion, et où la direction de l’action avance « à cascade » du premier au second (Caillon et al., 2017).

Le deuxième type est celui des projets qui s’inscrivent dans une perspective de durabilité, comme les initiatives autour du « développement durable » (Ezvan et al., 2022) et de la « transition écologique » (Collectif Fortes, 2020). Dans ce type de projet, l’adoption d’une perspective gestionnaire (qui demande la traçabilité des résultats) devient de plus en plus arbitraire au fur et à mesure que les variables influant sur l’effet à évaluer se multiplient et que les trajectoires et les temporalités de leur influence se confondent (Larrère, 2021).

En réponse à ces difficultés, cet article propose la notion de « cause formelle » comme paradigme fédérateur de plusieurs approches « écologiques » à l’enquête causale dans les systèmes complexes. Le mot « écologique » s’oppose ici à un modèle « environnemental » de l’action : si dans la notion d’environnement ce qui entoure l’action n’est qu’un « fond » qui n’influence pas l’action, une visée écologique dans le sens ici présupposé regarde l’action comme étant toujours en relation avec le milieu où elle intervient : le milieu influence donc à son tour l’aboutissement de l’action et détermine la cohérence de celle-ci avec le « déjà là »³.

La première partie passe en revue ces approches qui ont déjà cherché à enrichir le modèle logique « à cascade d’effets » par rapport aux initiatives de développement durable et de transition écologique. Ces contributions ont abouti au développement de versions plus inclusives du modèle logique par rapport aux effets inattendus (L’Huillier, 2017) ou à une pluralité de causes qui codéterminent l’état des choses à évaluer (Delahais et Toulemonde, 2012). La deuxième partie introduit la notion fédératrice de « cause formelle », telle qu’elle a été développée par le théoricien des médias, Marshall McLuhan, comme outil d’analyse des processus communicationnels qui relient les humains à leurs milieux. La troisième partie offre des repères pratiques pour concevoir une évaluation axée sur la causalité formelle⁴, non pas sous forme de nouvelles techniques, mais plutôt par une redescription fédératrice d’approches déjà connues, telles que l’évaluation dite « constructiviste », celle à méthode mixte et l’évaluation « évolutive ».

La contribution de l’article est de ressourcer le domaine de l’évaluation de programmes d’une notion de causalité adaptée aux cas où les dynamiques de changement résistent au séquencement souvent recherché par les démarches évaluatives, et qui demandent par contre que les évaluateurs eux-mêmes ouvrent leurs pratiques à une « transition écologique » (Delahais et al., 2020).

Extensions du modèle logique « à cascade »

Quand il s’agit de faire de la place à l’enquête causale en évaluation de programmes, deux types d’approches de l’évaluation peuvent être distingués : le premier, axé sur la « description causale », le deuxième, plutôt axé sur l’« explication causale ». La « description causale » vise simplement à établir la preuve d’un lien entre cause et effet en présupposant que la relation sous-jacente a la forme d’une séquence temporelle (l’exemple classique est celui des évaluations contrefactuelles). L’« explication causale », elle, essaye plutôt d’établir quelles sont les variables qui comptent et d’expliciter comment et pourquoi elles sont reliées (évaluations informées par la théorie) [Shadish et al., 2002]. Je propose de poser la ligne de démarcation entre ces deux approches au niveau de la capacité dont on dispose à nommer ex-ante les effets recherchés par une intervention et dont on recherche la cause. Si, dans des situations où une logique séquentielle peut s’appliquer sans difficulté, les approches du premier type peuvent être une option fiable ; dans des situations marquées par une forte complexité, ce sont plutôt les évaluations du deuxième type qui s’imposent. Cela s’explique par leur capacité à construire le dispositif d’évaluation comme un véritable générateur d’hypothèses (et non comme simple testeur d’hypothèses) par rapport aux effets qu’une intervention peut produire ; ce qui permet à son tour d’approfondir la compréhension de ce qu’une action est à même de produire dans un état donné du monde (Delahais et Toulemonde, 2012). En ce sens, la proposition d’une approche de l’évaluation ancrée dans la « cause formelle » s’inscrit dans le champ de l’« explication causale » en retravaillant des présuppositions souvent inconscientes par rapport au sens qu’il est possible de donner au mot « cause » et à une enquête axée sur la « causalité ». Typiquement, ces mots évoquent une présupposition implicite : ce sont les causes qui font exister leurs effets et qui doivent donc les précéder. Pourtant, cette conception est inadaptée pour rendre compte d’une situation caractérisée par une relation de réciprocité entre l’action portée par le programme et le milieu où le programme s’inscrit. Dans ce cas, on pourrait également dire que c’est la configuration du milieu qui « permet » à certaines possibilités de s’épanouir et à d’autres de s’amoindrir, et donc à certaines causes de se réaliser en tant que « causes efficientes ». L’efficience de ces causes est, d’après cette clé de lecture, une manifestation de la configuration du milieu permettant à certaines causes de devenir productives d’effets, mais pas à d’autres. La notion de « cause formelle » conduit alors d’élargir le vocabulaire de la causalité pour décrire précisément ce type de situation. Pour mieux illustrer comment la notion de « cause formelle » pourrait permettre un plus grand alignement des méthodes concrètes d’évaluation avec les mots que l’on utilise pour en rendre compte, je vais examiner deux exemples de pratiques qui gagneraient à s’inscrire explicitement dans une enquête axée autour de la « cause formelle » et qui, à l’état actuel, associent plutôt des méthodes innovantes à un vocabulaire de la causalité qui ne leur est pas complètement adapté. Il ne s’agit que de deux exemples parmi les multiples pratiques innovantes qui ont pu s’installer auprès des praticiens de l’évaluation sensibles aux effets systémiques et à la complexité (Gates et al., 2021).

Modèles logiques augmentés et programmes « de transition »

Quand on s’interroge sur la relation de causalité dans le contexte de l’évaluation de programmes, il y a deux manières d’aborder la question. La première renvoie à l’école « successionniste », qui se base sur la notion de causalité proposée par l’empiriste David Hume (2003 [1739]). Hume raisonne à partir de l’exemple des boules de billard qui s’entrechoquent, ensuite devenu un « cas d’école ». Dans l’approche « successionniste », une enquête axée sur la causalité ne porte pas directement sur la nature de « ce qui se passe » entre les boules, mais sur le degré de conviction sur lequel l’observateur peut s’appuyer (Maxwell, 2004). Ce qui influence le « degré » de causalité est, donc, la précision de la conviction de l’observateur, où par « précision » il faut entendre « manque d’ambiguïté » et « [l’]élimination des causes alternatives possibles » (Maxwell, 2004, p. 111). C’est ainsi que la rigueur de la méthode de production d’une conviction de causalité l’emporte sur l’analyse de la causalité comme relation parmi les faits observés (Haccoun et McDuff, 2012, p. 122).

La seconde est celle de l’école de pensée dite « réaliste » ou Realist (Ridde et al., 2012), pour laquelle une enquête autour de la causalité n’a pas pour but de justifier la conviction qu’on attache à une « succession » observée, mais de comprendre « ce qui se passe » lorsqu’une séquence causale se produit. À cette fin, les praticiens de l’approche Realist s’appuient sur la triade contexte-mécanisme-effets (CME) (Pawson et Tilley, 1997). La différence la plus significative entre le modèle logique « à cascade » et la configuration CME réside dans le souci d’intégration de toute logique causale dans son contexte (Astbury et Leew, 2010, p. 369). En ce sens, l’évaluation Realist ne remet pas nécessairement en cause la nature de la « relation causale » en tant que séquence temporellement étalée, mais elle s’efforce de présenter systématiquement tout modèle logique en relation avec ses conditions environnantes.

Dans cette perspective, un exemple de méthode d’évaluation qui cherche à expliciter un modèle logique plus riche que la simple séquence temporelle est « l’analyse de contribution » (Mayne, 2012). Celle-ci, dans le cadre de l’évaluation Realist, se caractérise par l’attention portée aux conditions environnantes dans lesquelles une dynamique causale s’active. À ce titre, l’analyse de contribution part « de la fin », c’est-à-dire des changements constatés – et c’est seulement à partir de là que des hypothèses sont formulées sur le rôle que le programme pourrait avoir joué, dans un contexte où jouent aussi d’autres facteurs contributifs (Delahais et Toulemonde, 2012). Cette procédure permet de composer des « paquets de causes » qui demandent (i) une spécification analytique des différents passages de cause à effet ; (ii) une réflexion sur les conditions nécessaires pour qu’une certaine cause devienne active et (iii) la considération explicite d’explications alternatives (Delahais, 2022 ; Delahais et Toulemonde, 2012). Comme l’évaluation Realist, l’analyse de contribution ne met pas en discussion le principe que l’enquête sur la causalité présuppose la démonstration d’un lien séquentiel entre une ou plusieurs variables indépendantes (la cause) et une ou plusieurs variables dépendantes (l’effet) [Mayne, 2012, p. 274]. En même temps, elle démontre aussi une sensibilité pour la « situation totale » (Stone, 1953) par laquelle un événement observé est produit.

C’est l’analyse de contribution qui a été utilisée pour l’évaluation de l’accompagnement de la transition écologique de la commune de Loos-en-Gohelle, en France, au sein d’un programme de l’Agence de la transition écologique (ADEME, 2021) sur les stratégies de conduite de changement dans plusieurs communes des Hauts-de-France. Cette évaluation constitue un exemple précieux montrant comment une vision plus inclusive de la causalité permet d’aborder des phénomènes complexes tels que la transition socioécologique (Sage et al., 2016). L’évaluation en question portait sur la « stratégie loossoise de conduite du changement » dont le but était une « transition », entendue comme « la conversion d’un modèle de société non durable… à un modèle soutenable dans les limites de la biosphère » (Perdrigeat, 2014, cité par Sage et al., 2016, p. 57). Par l’application de l’analyse de contribution, l’équipe d’évaluation a produit un schéma très articulé de « chaînes causales » regroupées en paquets. Ensemble, ces paquets étaient censés conduire à des effets intermédiaires qui, à leur tour, devaient conduire vers l’effet final : la transition. On doit remarquer cependant que cette structuration de la causalité par chaînes d’événements successifs a comporté une perte de centralité de la notion de « transition » :

L’impact final recherché est donc l’émergence d’un nouveau mode de développement en rupture avec le mode actuel… « La présente évaluation n’a pas vocation à interroger directement cet impact final vers lequel tend la stratégie loossoise. Il s’agira plutôt de questionner l’atteinte de résultats et impacts intermédiaires recherchés par la stratégie loossoise de conduite du changement » (Sage et al., 2016, p. 57).

Une partie de l’équipe qui a mené l’évaluation de Loos-en-Gohelle a ensuite publié une étude à ce sujet (Delahais et al., 2020). Les auteurs font notamment état de la difficulté à « traduire », sous forme d’un « objet » à évaluer, le changement global recherché par les initiatives de transition. Ils ont alors défini la « transition » comme un état futur dont n’existe pas encore un modèle avéré (Delahais et al., 2020) et ont placé cet état futur en bout de ligne du modèle logique, se focalisant sur les résultats plus proches, qu’ils étaient à même de relier aux actions effectivement menées par la commune au titre de cette « transition ».

Cette évaluation a donc réussi à décrire la transition dans un langage de « causalité » qui présuppose un lien de type séquentiel entre cause et effets. Pour cela, il a fallu mettre de côté la notion de « transition », centrale pour les demandeurs et les financeurs du programme. Cette mise de côté montre que, même en utilisant des techniques fondées sur le meilleur état de l’art, il est difficile de sortir d’une conception des relations cause-effet où la cause se trouve temporellement en amont des effets, dès lors qu’on cherche à mener une évaluation dite « causale ».

Méthodes mixtes et programmes de développement durable

L’évaluation à méthode mixte constitue un autre terrain d’expérimentation méthodologique, qui serait susceptible d’être associé à une approche de la causalité moins limitée au séquencement temporel entre cause et effet et à son outillage conceptuel limitant en termes de causalité. Les méthodes mixtes se fondent sur l’idée que tout programme à évaluer est susceptible d’être défini de différentes manières, selon le type d’effets qu’on choisit d’observer (Pluye, 2012). Par exemple, si on se met dans la perspective des gestionnaires, il peut être facile de s’attacher aux seuls effets attendus et de chercher à vérifier l’image du programme qui découle de ceux-ci (Camfield et Duvendack, 2014). Ainsi, un programme de subventions pour des publics jugés « en pauvreté » ne saurait être évalué que par rapport à la réalisation (ou pas) de ces effets attendus. Pour pallier cette insuffisance, Devereaux et Roelen (2015) montrent comment les méthodes mixtes dépassent le séquencement temporel des effets et cherchent à découvrir les effets inattendus qui sont souvent liés à des rétroactions peu visibles. De ce fait, ce même programme de « soutien à la pauvreté », une fois mis en œuvre dans un certain contexte, pourrait enclencher des rétroactions remettant en cause les objectifs. Par exemple, il est possible que les membres de la communauté où le programme est implanté commencent à faire payer l’assistance qu’ils s’étaient prêtée jusque-là dans la gratuité. Si on voit donc le programme sous l’angle de cet effet inattendu, on pourrait conclure que, au lieu de se réaliser comme programme « d’aide à la pauvreté », il se réalise plutôt comme un programme de « commercialisation des relations d’entraide » !

Les méthodes mixtes combinent méthodes quantitatives⁵ et méthodes qualitatives. En particulier, ces dernières sont particulièrement adaptées pour rendre compte des rétroactions qui remettent en discussion la notion de ce qu’« est » un programme, compte tenu de ses effets paradoxaux ou inattendus (L’Huillier, 2017). Souvent, c’est une définition simpliste au début (qui exclut ou ignore des potentialités concomitantes) qui multiplie le risque d’effets inattendus. Dit autrement, toute définition de ce qu’« est » un programme risque d’obscurcir les autres effets potentiels qu’il peut occasionner, qui pourtant demeurent dans l’horizon du possible et pourront se manifester sous forme d’effets inattendus.

Dans le fil de cette observation, des chercheurs (Giraud et al., 2013) ont développé un indicateur de « capacité relationnelle » (relational capability index ou RCI) qui cherche à mettre en évidence la variété du potentiel relationnel (ou potentiel d’interactions) présent dans un contexte et à capter l’impact d’un projet par rapport à la réalisation de ce potentiel. Un indicateur tel que le RCI, qui a ensuite été opérationnalisé selon une approche de méthode mixte par L’Huillier (2017), L’Huillier et Renouard (2018), et Ezvan et al. (2022), aide à la prise de conscience des effets inattendus que le programme n’a pas examinés de façon explicite.

Ces travaux suggèrent qu’il y a une certaine « simultanéité » entre un programme et ses effets, dans le sens où la conception d’un programme contient en elle-même une notion de son efficacité recherchée : elle en est indissociable. Cette notion d’efficacité, qui est là en puissance dans la définition du programme, pourra se matérialiser plus ou moins aisément, selon la traction – les possibilités ou opportunités – que le contexte lui offre. Les méthodes mixtes conduisent donc à interroger (i) les différents types d’efficacité possible qu’un programme pourrait atteindre en fonction du contexte ; (ii) l’efficacité attendue qui est construite « dans » la conception d’un programme particulier, et (iii) la traction que cette dernière serait à même d’avoir en résonance avec un contexte.

Même si la littérature sur les méthodes mixtes ne le formule pas en ces termes (parce que ces dernières se situent justement au niveau des méthodes sans nécessairement réinterroger le sens du vocabulaire de causalité), les méthodes mixtes offrent des éléments pour poser la question de la causalité de manière « autre » par rapport à un modèle causal temporellement séquencé. C’est ici que la notion de cause formelle aide à mieux approfondir cette possibilité, et c’est donc vers elle que nous allons nous tourner dans la partie qui suit.

La notion fédératrice de « cause formelle »

Les courants décrits dans la partie précédente portent leur attention sur le rôle du contexte comme porteur des potentialités avec lesquelles le programme peut rentrer en résonance. Parler de potentialité permet donc de porter le regard au-delà des bornes du programme évalué stricto sensu et invite à considérer la « situation totale » (Stone, 1953) dans laquelle se joue cette relation entre ces potentialités et leurs réalisations possibles. Comme le disent Hubert et Mathieu (1992, p. 318) en discutant de l’usage de ce mot dans les disciplines liées à la socioécologie : « Les ‘potentialités’ peuvent ainsi exprimer le champ des utilisations possibles de certaines ‘ressources’ sous les ‘contraintes’ liées aux objectifs qui ont été définis pour un projet donné ».

Parler de potentialités invite donc à un changement de regard, dans le sens de passer (a) d’une logique d’attribution des effets recherchés au programme (selon une théorie du changement où c’est le programme qui fait exister ses effets) ; (b) à la compréhension de comment une forme qui relie le programme à un certain nombre d’effets s’active. La forme, on peut l’imaginer comme la « version du monde » à laquelle correspondent les attentes et les comportements des acteurs par rapport à leur milieu. Un gland, par exemple, est susceptible de rentrer dans plusieurs « versions du monde », qui s’activeront selon les circonstances, auxquelles le gland offrira une occasion de se manifester : chêne, nourriture pour les porcs, humus, farine. On peut imaginer chacune de ces versions du monde comme une « scène », où figure le gland, peuplée de protagonistes différents : un bois ensoleillé, la proximité d’un élevage de porcs ou un parcours de cueillette sauvage. Chacune de ces scènes est susceptible d’activer une version potentielle de ce que le gland « peut être ». La notion de « cause formelle » rend possible la description plus précise de ce processus d’activation de potentialités. La cause formelle renvoie ainsi à la sélection d’une version du monde qui met en évidence des effets potentiels que d’autres sélections possibles n’auraient pas révélés ; réciproquement, le repérage d’un certain effet permet de remonter à la cause formelle – version du monde – qui le révèle et le rend accessible. On peut donc parler de coexistence et non-séparabilité entre une certaine version du monde et un certain effet, d’où la notion de causalité simultanée⁶.

Cette notion de « cause formelle » bénéficie en outre d’une opérationnalisation par un outil analytique développé par le chercheur canadien en sciences de la communication, Marshall McLuhan (1964), qui la rend particulièrement attractive en vue d’une application pratique. Avant McLuhan, la communication était conceptualisée comme la simple « transmission » d’un message d’un pôle émetteur à un pôle récepteur (Shannon et Weaver, 1949) : un modèle qui était tiré directement des techniques de transmission de signaux télématiques, et qui présente une assez grande similarité avec la notion de causalité comme succession temporelle de causes et effets en évaluation. La force de la proposition de McLuhan a été de passer de la « séquence temporelle » présupposée par la cause efficiente (où d’abord il y a un message, ensuite un moyen de transmission, et enfin un effet communicationnel auprès d’un récepteur) à la simultanéité de la cause formelle : « la cause formelle concerne l’être et non le devenir ; c’est-à-dire, elle manifeste comment ce qu’une chose est, elle l’est de manière inséparable de ses effets » (McLuhan, 2017, p. x). Dans cette perspective, l’efficacité qu’un programme manifeste n’est qu’une potentielle « version du monde » qu’il est capable d’actualiser, et qui est susceptible de s’épanouir dans tout contexte où cette version du monde aura traction.

Pour mieux comprendre comment une « cause formelle » se manifeste, je vais d’abord étudier un « cas d’école » et ensuite je vais proposer un exemple concret tiré de l’évaluation d’un programme en lien avec l’acculturation des communautés universitaires à la transition écologique. Le « cas d’école » je le tire de Morrissey (2016) ⁷, qui décrit la formation d’une « version du monde » où la température se dit « automatiquement » en Celsius ou Fahrenheit. Il est intéressant de considérer ce que l’apparition du thermomètre « cause » par rapport au phénomène de la température. On peut s’imaginer un anthropologue rentré d’un terrain auprès d’une communauté où le thermomètre n’était pas un objet utilisé : il lui faudra peut-être un certain temps avant qu’il recommence à utiliser cet instrument pour « lire » la température. Dans cette période transitoire, il continuera peut-être à se repérer avec d’autres indices, par exemple sa perception corporelle ou la condensation de sa respiration dans l’air hivernal. Petit à petit, notre anthropologue commencera à s’habituer à nouveau à faire directement confiance au thermomètre comme instrument de mesure. Il arrivera donc à voir directement « la température », selon la forme (d’une échelle de mesure) que lui donne le thermomètre. Dès que l’anthropologue accepte la « mesure » indiquée par le thermomètre comme étant « la » température (tout en n’étant qu’un indice possible de celle-ci), le thermomètre devient actif comme « cause formelle » de la relation de thermorégulation entre notre anthropologue et son milieu de vie.

En même temps, un effet collatéral de l’identification de la température avec la mesure issue d’un thermomètre est un passage à l’arrière-plan (et peut être un oubli sur le long terme) de tous les indices alternatifs qu’on pourrait mobiliser pour se rendre compte de la température, et que peut-être notre anthropologue avait redécouvert durant sa période de terrain. Toute cause formelle a donc tendance à se rendre invisible : l’on observe un état des choses comme s’il était là immédiatement, et on ne fait plus attention aux causes formelles qui lui donnent forme. Cela est très souvent le cas dans l’évaluation de programmes, où l’efficacité attendue du programme peut obscurcir et faire passer à l’arrière-plan plusieurs efficacités avérées du même programme, quand elle devient la seule clé de lecture disponible (Le Roy et Ottaviani, 2015). Visibiliser l’action de la cause formelle a donc pour résultat de rouvrir une situation à d’autres possibilités de définition, en mettant en valeur des indices qui ont toujours été là mais qui se trouvaient à l’arrière-plan.

Je passe à un exemple concret plus étroitement relié à l’évaluation des programmes. En juin 2023, le ministère de l’Enseignement supérieur et de la Recherche en France a demandé aux établissements d’enseignement supérieur de mettre en place un programme d’interventions dit « Schéma directeur développement durable et responsabilité sociale et environnementale ». Les interventions faisant partie de ce programme vont de la transformation de l’enseignement et de la recherche à l’empreinte carbone pour faire face au dérèglement climatique (MESR, 2023a). La commande ministérielle vise une « mise en mouvement » de l’institution aboutissant à une transformation profonde des relations entre acteurs. Par exemple, au niveau de l’enseignement, le ministère ne préconise pas un simple changement des maquettes des formations, mais exprime le souhait d’une approche pédagogique davantage axée sur la prise d’initiative et la capacité réflexive des étudiants (MESR, 2023b). Ce souhait d’un changement global est exprimé par des expressions telles que : « Le schéma directeur a vocation à embrasser la totalité des activités de l’établissement, de son cœur de métier jusqu’aux fonctions supports, en incluant toutes les dimensions de sa mission » (MESR, 2023a, p. 4) ; « La dimension ‘responsabilité sociétale et environnementale’ des actions relevant du schéma directeur… permet à chacun de se reconnaître dans la démarche dont le schéma est porteur en favorisant la mobilisation individuelle et collective au service de sa réalisation : l’enjeu est de faire de chacun un acteur de cette transformation, quel que soit son métier au sein de l’établissement, ou son statut, étudiant ou personnel, tout en donnant au projet un sens collectif qui mobilise les énergies de tous au bénéfice du bien commun » (MESR, 2023a, p. 4). Dans de telles formulations, la commande semble articuler assez clairement une « version du monde » dans laquelle certains effets (d’engagement et de mobilisation sans égard au statut de chacun) auraient la possibilité de se manifester « spontanément ». Par contre, dès que la circulaire ministérielle aborde le sujet de l’évaluation, la commande semble retomber sur un tout autre registre de causalité puisqu’elle demande un suivi axé sur « les objectifs et les jalons que se donne l’établissement dans sa feuille de route avec : des livrables attendus ; des indicateurs de réalisation ; et un calendrier opérationnel de mise en œuvre » (MESR, 2023a, p. 10). Dans la « version du monde » évoquée par une expression telle que « faire de chacun un acteur de cette transformation » (voici une cause formelle !), ce sont les acteurs eux-mêmes qui s’activent, pour ainsi dire spontanément, suite à un changement de ce qui a de la valeur pour eux au fil du temps. Ce changement implique des rétroactions entre les choix des acteurs et le milieu culturel de l’université dans lequel ces choix se forment et trouvent leur motivation (Russi, 2022). À la lumière de ce souhait, la méthode de suivi préconisée, qui semble postuler la fixation préalable d’objectifs et leur « mise en œuvre » progressive, revient dans une logique qui fait remonter les effets à des causes sans savoir vraiment interroger les conditions plus globales du milieu permettant à certains effets d’« actualiser » l’efficacité de leurs causes.

Les causes formelles s’attachent à la notion de « versions du monde » en ce qu’elles organisent simultanément l’action humaine et son efficacité par rapport au contexte, non pas par un enchaînement d’événements temporellement étalés, mais par la canalisation de la perception même du contexte à travers la mise en exergue de certains aspects et la mise à l’arrière-plan d’autres aspects. La capacité de McLuhan d’aborder cette implication réciproque de l’action humaine avec son efficacité par rapport à son contexte a donné lieu à une discipline, dite « écologie des médias » (media ecology) [Strate, 2017], qui apporte un regard écologique sur l’action humaine, comme s’inscrivant à l’intérieur de milieux qui sont également façonnés par la communication humaine et, par conséquent, « médiatisés »⁸. C’est donc à cette source qu’on peut puiser pour en tirer une notion « écologique » de la causalité en évaluation de programmes, pour faire avancer la compréhension des effets qui se manifestent dans un système complexe de relations entre acteurs et leurs milieux.

Comme on l’a évoqué, McLuhan ne s’est pas borné à une description simplement théorique de la cause formelle, il a aussi développé un outil analytique (la tétrade, que l’on pourrait traduire par « les quatre critères de McLuhan »), qui est un ensemble de quatre questionnements permettant de visibiliser systématiquement l’action de la cause formelle (McLuhan et McLuhan, 1988). Pour en revenir à l’exemple du thermomètre, les questionnements concernent : (i) la mise en évidence de la température en tant que mesurée (par exemple 18° Celsius) ; (ii) le fait de présupposer un monde où le thermomètre est accepté comme instrument de mesure, avec toutes les attentes que cette acceptation induit par rapport au contexte (l’utilisation du thermomètre, par exemple, peut engendrer l’usage de porter des vêtements légers quand on est à l’intérieur, sans égard à la saison) ; (iii) le fait de faire disparaître son dispositif physique (en le regardant, on ne distingue plus entre le thermomètre en tant qu’objet et la mesure qu’il affiche) aussi bien que les « savoirs » préexistants par rapport à la thermorégulation ; (iv) à la limite, la bascule sur les paradoxes de cette invisibilisation d’autres savoirs par rapport à la thermorégulation (par exemple un voisin qui garde le chauffage allumé dans une pièce ombragée de sa maison au printemps, faisant confiance seulement au thermomètre, au lieu de s’apercevoir qu’il fait chaud dehors et qu’il pourrait juste ouvrir la fenêtre pour faire rentrer l’air chaud !). Dans l’exemple du schéma directeur évoqué ci-dessus, le même questionnement permettrait de faire apparaître : (i) la mise en évidence de la prise d’initiative par les acteurs du changement ; (ii) le présupposé d’une capacité d’agir de la part de ces acteurs ; (iii) l’obsolescence de la gouvernance par la contrainte (c’est pour ça que le suivi préconisé par le ministère apparaît en contradiction avec la « version du monde » qu’il cherche à inviter) et (iv) le paradoxe d’une « action sans acteurs » : dans un environnement où la prise d’initiative devient ordinaire, l’action de chacun s’efface dans la mise en mouvement globale.

Le fait que la cause formelle introduit explicitement une perspective de simultanéité (au sens d’indissociabilité) entre causes et effets, au lieu de la séquence temporelle recherchée par la causalité efficiente, et qu’elle a été opérationnalisée par un outil analytique tel que les quatre critères (tétrade) de McLuhan, la rend apte à fédérer plusieurs approches émergentes en évaluation qui sont, à présent, situées dans des « silos » séparés.

Vers une évaluation axée sur la cause formelle

Ce qui est essentiel pour qu’une cause formelle s’active est la présence d’un utilisateur qui se laisse introduire à la version du monde qu’une cause formelle lui rend accessible. Dans les exemples qu’on vient de voir, il s’agit d’accepter l’utilisation du thermomètre ou bien le paradigme de « l’acteur » de la transition écologique dans les établissements universitaires, mais il y a plusieurs illustrations ultérieures que l’on pourrait imaginer dans des scénarios d’évaluation.

Un premier exemple serait celui d’un « savoir local », comme une manière traditionnelle de cultiver et de commercialiser une variété de blé de montagne. Une question qui pourrait alors surgir en évaluation de programmes, par rapport à toute initiative de valorisation de ce savoir local, concernerait l’essaimage du savoir local auprès d’autres communautés d’usagers potentiels. Or, un savoir local rentre aisément dans la logique de la cause formelle, en ce sens que la question de son essaimage appelle un approfondissement de la « version du monde » (la forme de la relation humains/milieux) que ce savoir propose et qui est activée chaque fois que ce savoir est utilisé. On examinera ci-après des approches de l’évaluation qui permettent déjà une telle enquête, sans pourtant être classées comme approches causales parce que la causalité qu’ils montrent n’est pas la causalité séquencée (cause efficiente) qui monopolise le domaine de l’évaluation, mais la causalité simultanée (cause formelle) qu’on vient de décrire.

Un deuxième exemple est tiré d’un cas d’évaluation abordé par l’auteur de cet article : l’évaluation du « cheminement », auprès des publics formés, d’un programme de formation aux enjeux de la transition socioécologique. Dans ce cas aussi il est possible de traduire la tâche d’évaluation dans le langage de la cause formelle. C’est-à-dire de l’aborder comme une enquête autour des conditions dans lesquelles un certain public se fait « usager » des (a) ressources pédagogiques qui lui sont offertes pour se former, et qui les utilise (b) pour habiter la transition comme potentielle version du monde. Ces deux points nécessitent de mieux comprendre (a) ce qu’est une efficacité « pédagogique » (par rapport à d’autres efficacités possibles telles qu’une simple « curiosité non engagée ») et (b) comment elle actualise la « version du monde » où la transition écologique se fait raison qui motive l’action.

Concrètement, il s’agit de comprendre avec quels utilisateurs et dans quelles conditions un programme arrive à actualiser un certain type d’efficacité, et dans quelles conditions il est utilisé autrement, donnant donc lieu à d’autres configurations. Pour revenir à l’exemple de l’évaluation d’un programme de formation à la transition, évoquée ci-dessus, les quatre critères de McLuhan et McLuhan (1988) peuvent aider à décrire systématiquement (i) ce que la formation met en avant comme évidence (la « transition » comme capacité d’agir face au changement climatique, la solidarité avec une communauté globale) ; (ii) les présupposés implicites de la formation, y compris les attentes qu’elle produit une fois qu’un usager s’investit dans la version du monde qu’elle lui propose (telles que la recherche d’une cohérence entre les choix individuels et les besoins de la planète et de ses habitants, ou une préférence esthétique pour « le vivant » au lieu de « l’artificiel »), (iii) les paradoxes auxquels elle donne lieu (l’éco-anxiété, ou la curiosité non engagée) et (iv) les versions du monde alternatives que la formation fait passer à l’arrière-plan (le dépassement de la capacité d’agir, l’attachement à des communautés plus « proches » de soi).

À ce niveau d’évaluation, les quatre critères de McLuhan aident à mieux localiser les facteurs qui peuvent influencer l’utilisation de la « version du monde » recherchée par le programme. À titre d’exemple, par rapport à l’évaluation d’un programme pédagogique, on peut imaginer les facteurs suivants : le niveau de compétence préalable des participants aux formations par rapport à la « version du monde » proposée par la formation, la capacité des ressources pédagogiques à permettre une identification par des publics différenciés d’usagers potentiels, la disponibilité d’un contexte favorable à l’expérimentation pour se familiariser avec les objets qui leur ont été proposés au fil de la formation. Au final, ce genre de questionnement ne constitue pas une approche complètement nouvelle en évaluation, mais permet de fédérer sous une nouvelle notion de causalité plusieurs approches existantes. On en mentionne trois ci-après.

En premier lieu, l’idée que plusieurs « versions du monde » puissent être simultanément à l’œuvre dans une même situation d’évaluation a déjà été avancée par l’évaluation dite « constructiviste » (Guba et Lincoln, 2021). Selon cette approche, l’évaluation doit se structurer explicitement comme un processus de médiation et de formation progressive d’un consensus entre les différentes parties prenantes autour de ce qu’est l’intervention (Lasida et al., 2018)⁹. En même temps, le fait que ce type d’approche ne rentre pas dans les modélisations séquentielles qui sont courantes dans la plupart des évaluations dites « causales »¹⁰ a impliqué qu’elle soit considérée comme une approche complètement « autre » par rapport à une enquête causale – ce que la notion de « cause formelle » permettrait d’expliciter.

En second lieu, l’approche par les méthodes mixtes combine des outils quantitatifs et qualitatifs dans le but de faire ressortir les « effets inattendus » et paradoxaux (une des questions dans les quatre critères de McLuhan) qui rendent visible une histoire « autre » par rapport au programme évalué. Les méthodes mixtes portent donc une attention très concrète aux paradoxes posés par les effets inattendus qui révèlent la présence de plusieurs versions incompatibles de la même situation (Devereaux et Roelen, 2015).

En troisième lieu, l’évaluation dite « évolutive », qui encourage à remettre en discussion, de manière itérative, la version du monde qu’un programme cherche à nourrir, et qui positionne l’évaluateur dans un rôle de médiation et d’accompagnement, plutôt que d’agent de mesure (Patton, 2010)¹¹. C’est ainsi que cette approche a des résonances fortes avec celle de la cause formelle. En particulier, elle présuppose de porter attention aux mots avec lesquels les parties prenantes décrivent ce qu’elles font et de les interpréter en tant que « concepts sensibilisateurs » (sensitizing concepts) [Patton, 2010, p. 270]. C’est-à-dire que les mots des parties prenantes pour décrire l’efficacité du programme sont des portes à franchir et des indices pour comprendre la « version du monde » que le programme cherche, de leur point de vue, à actualiser (Patton, 2010, p. 229). Dans cette perspective, Patton (2010, p. 202) souligne que tout programme n’a pas qu’une seule efficacité, mais entraîne des « dynamiques en mosaïque » (patch dynamics) où la version du monde portée par les concepteurs du programme s’accompagne d’autres versions du monde, comme celles des parties prenantes que le programme met dans l’ombre ou rend moins compréhensibles (au point de produire des effets inattendus et des paradoxes du point de vue des concepteurs du programme).

En conclusion, dans une situation d’évaluation, la notion de « cause formelle » met en exergue la présence de constructions multiples et d’une pluralité de valeurs possibles pour porter un jugement – et donne un autre vocabulaire pour parler de la causalité. De ce fait, elle permet de fédérer plusieurs approches, couramment placées en silos, qui vont permettre de gérer une enquête causale dans des systèmes complexes.

Conclusion : une écologie de l’évaluation pour la Grande Transition ?

Les auteurs du Manuel de la Grande Transition (Collectif Fortes, 2020, p. 207) utilisent six « portes » pour décrire un projet de société axé autour de la transition écologique. Une de ces portes est celle du langage (logos), par rapport auquel ils invitent à faire attention aux « termes que nous employons pour décrire les enjeux actuels » parce qu’ils « peuvent nourrir des imaginaires peu ajustés à la gravité des mutations en cours ». En suivant cette piste, on a interrogé le sens que de nombreux outils d’évaluation donnent au mot « cause ». On a pu voir que le modèle logique dans lequel il est typiquement demandé de faire rentrer un programme à évaluer est, en effet, une traduction schématique de la cause efficiente, d’après la classification des causes aristotéliciennes¹². La causalité efficiente postule une séquence entre une cause et un effet. Si on se demande quelles sont les situations où on peut trouver ces conditions (et donc appliquer cette notion de cause efficiente), il est difficile de ne pas revenir sur des exemples « balistiques » tels que le lancement d’un projectile, ou mécaniques tels que l’engrenage d’une horloge.

En même temps, la pensée de la complexité met de plus en plus en discussion ces présupposés, et elle met des mots sur le constat que, par exemple, un programme bouclé « en amont », et qu’il reste à mettre en pratique « en aval », finit souvent par être hanté par ses effets inattendus (Devereaux et Roelen, 2015). C’est ici que se rencontrent les regards des parties prenantes des programmes d’intendance socioécologique (stewardship), de développement durable ou de transition écologique à échelle citoyenne, où le changement à décrire est typiquement de nature qualitative, au niveau des relations entre les acteurs. L’ethnobotaniste Claudine Friedberg (1992, p. 65) résume de manière efficace le défi que la complexité pose à la compréhension du changement dans les socioécosystèmes :

« La façon dont s’articulent l’action de l’homme et tel ou tel processus naturel [est] un jeu de réactions mutuelles dont les effets doivent être réincorporés dans le système que constitue l’ensemble des éléments culturels et naturels concernés par le phénomène que l’on se propose d’analyser », ce qui à la limite nécessite un passage des « rapports de cause à effet » (linéaires) à la « complexité des relations entre les différents facteurs [observés] ».

Le but de cet article a donc été de chercher à outiller l’évaluation de programmes avec une notion de causalité qui soit mieux adaptée à décrire les transformations qualitatives dont il s’agit dans un système complexe. C’est-à-dire celles des reconfigurations simultanées de ce qu’une situation « est » et de ce qu’elle « fait », où la distinction entre un objet et son contexte est toujours le résultat d’un processus et jamais seulement un point de départ qu’on peut se passer d’analyser. C’est ici que la cause formelle offre une piste intéressante pour ne pas se passer de l’enquête causale en évaluation de programmes, sans pourtant forcer toute situation dans un modèle séquentiel.

Remerciements

L’auteur souhaite remercier les deux réviseurs anonymes de NSS pour la qualité des commentaires reçus, ainsi qu’Hélène L’Huillier et Cécile Renouard pour leur relecture d’une version antérieure de ce texte et le relecteur final, Thierry Donnadier.

Références