© N. Ferrand et al., Hosted by EDP Sciences

De plus en plus de politiques publiques s’appuient sur des processus participatifs et associent différents acteurs à l’élaboration ou à la révision de décisions, de plans ou de programmes. Évaluer ces processus participatifs et leurs impacts est central dans la conception et le pilotage des politiques publiques. L’évaluation permet, par exemple, d’identifier les acteurs qui n’ont pas participé et de mettre en place des stratégies pour les mobiliser. Elle permet également d’identifier ce que les participants et participantes ont appris et dans quelle mesure leur participation les a amenées à changer leurs pratiques. Elle permet par ailleurs de rendre transparente la manière dont les décisions ont été prises et de légitimer le processus et la politique qui en résulte. Dans cet article, nous nous intéressons particulièrement à des processus participatifs s’inscrivant formellement dans le cadre de politiques publiques. Nous définissons l’évaluation comme la collecte de données sur un objet cible (le processus participatif, son contexte et ses impacts) réalisée dans un ou plusieurs objectifs prédéfinis (par exemple évaluer la représentativité des participants et participantes ou l’efficience du processus).

Les jeux sérieux, en tant que dispositif de participation (association entre un processus multi-acteurs et ses artefacts supports), entretiennent un double rapport à cette question de l’évaluation : ils peuvent en effet être conçus comme une cible de l’évaluation, comme un outil d’évaluation à part entière, ou les deux. Dans cet article, nous nous intéressons spécifiquement aux jeux matériels non numériques. L’usage de jeux dans les processus transformatifs territoriaux ou sociaux a été développé depuis plus de 50 ans à partir des travaux précurseurs de Duke (1974), Meadows (2007) et Feldt (2014). Les jeux sont mobilisés soit seuls, en raison de leurs divers impacts sur les participants et participantes, soit en association avec d’autres méthodes, au sein d’un processus participatif plus global. Une session de jeu constitue une épreuve individuelle ou collective dont le déroulement et les résultats peuvent être indicatifs d’un certain état cognitif, relationnel, décisionnel, face à la situation représentée par le jeu. Évaluer une session de jeu et ses impacts éventuels permet donc de qualifier ces états et leurs évolutions. L’évaluation des sessions de jeu et de leurs impacts est généralement conduite par observation (Hassenforder et al., 2020), traces ou enquêtes, et nécessite des compétences, des efforts, voire des mobilisations d’analystes externes (Fig. 1). Lorsqu’elle est réalisée ainsi, l’évaluation crée donc une charge supplémentaire pour les porteuses et les participantes. Les figures 1, 2 et 3 mettent en évidence la manière dont l’évaluation, le jeu, le processus participatif et l’observation sont connectés dans les trois approches présentées dans cet article.

En parallèle à cette « évaluation des jeux », une autre forme d’interaction entre jeux et évaluation s’est développée : ce sont les jeux qui intègrent dans leur déroulement même une évaluation de leur usage et/ou de leur impact (Fig. 2). Cela peut passer, par exemple, par des fiches à remplir par les participants et participantes au cours du jeu qui leur permettent de suivre l’état des ressources dans le jeu. Ces informations leur sont utiles pour jouer et fournissent également des données évaluatives sur les comportements des joueurs et joueuses et leurs effets sur le socioécosystème cible. Ce deuxième type d’interaction entre jeux et évaluation est ce que nous appelons ici « jeux endo-évaluatifs ». Ces jeux endo-évaluatifs permettent de minimiser la perturbation créée par l’évaluation sur les joueurs et les joueuses, et de minimiser la charge liée à l’évaluation, tout en déduisant des conclusions évaluatives valides.

Enfin, un troisième type d’interaction entre jeux et évaluation peut être analysé : les jeux dont la finalité même est l’évaluation. Ces jeux sont des dispositifs additionnels à des processus participatifs. Ils évaluent donc non pas l’usage du jeu et ses impacts, comme le font les évaluations des jeux et les jeux endo-évaluatifs, mais le processus participatif lui-même. Nous appellerons ici ce troisième type les « jeux évaluatifs ». Les jeux évaluatifs peuvent être utilisés soit pour comparer différents groupes et processus, soit longitudinalement sur un même processus avec une occurrence ex ante et ex post. Ils associent toujours une métaévaluation qui requalifie la session du jeu évaluatif et la transforme effectivement en une série d’indicateurs. Un jeu évaluatif est donc soit évaluable classiquement, soit endo-évaluable.

Les trois types d’interaction entre jeux et évaluation sont résumés dans le tableau 1.

Dans cet article, nous discutons des modalités et des implications de ces trois types d’interactions pour les conceptrices et les joueuses. Qu’est-ce qui est explicite et mesurable au sein d’un jeu ? Qu’est-ce qui est implicite et déductible par un processus additionnel faiblement perturbatif ? Qu’est-ce qui reste non observable par ce biais ? Quelles sont les limites d’un jeu dédié à l’évaluation ?

Nous nous intéressons également à la notion d’imputation causale pour ces trois types d’interactions. Autrement dit, pour ces trois types d’interaction, dans quelle mesure peut-on attribuer les résultats de l’évaluation au jeu lui-même (scénarios simulés à travers le jeu, actions choisies par les joueurs et les joueuses, etc.), à des causes externes liées au processus participatif global (incluant d’autres méthodes participatives), et/ou au contexte dans lequel ce processus se déroule (Daré, 2005) ? Même avec un traçage explicite et détaillé du déroulement du jeu et des décisions des joueurs et des joueuses, par exemple en leur demandant d’exprimer oralement leurs représentations, intentions et choix, l’imputation causale reste difficile.

Nous discutons ces points à partir du référentiel de conception et usage de plus de 200 jeux développés depuis 2008 par des groupes divers (majoritairement en contexte universitaire) dans la famille Wat-A-Game (Abrami et al., 2012). Le jeu évaluatif est illustré par un jeu intitulé CappWag, dédié à l’évaluation des capabilités collectives (Loudin, 2019)¹.

L’évaluation de jeux dans leur contexte d’usage

Dans cette partie sur l’évaluation de jeux, nous nous intéressons aux évaluations portant sur les jeux en tant que dispositifs participatifs inscrits dans un processus participatif plus large. La séparabilité des jeux vis-à-vis de leur contexte d’usage, c’est-à-dire l’analyse des effets qui ne dépendraient que d’un jeu donné, n’est pas le sujet ici. Une telle évaluation suppose des dispositifs comparatifs expérimentaux que nous n’abordons pas, dans la mesure où ils extraient le jeu de son usage pour un cas réel donné.

Les travaux historiques sur l’analyse de la nature et de l’usage des jeux (Huizinga, 1938 ; Caillois, 1958 ; Duke, 1974) sont intrinsèquement évaluatifs, avec en particulier une qualification de ce qu’est un jeu, de sa place dans le fonctionnement social et, pour les travaux de Duke, sur la démarche de conception, en regard d’une finalité. Cette question de l’évaluation des jeux est donc ancienne et on retrouve indexées plus de 5 000 publications sur ce thème². Nous ne l’abordons que par comparaison avec les autres démarches évaluatives proposées, et non comme une recension.

Peu de jeux publiés disposent d’une évaluation systématique (Aubert et al., 2019 ; Den Haan et Van der Voort, 2018). Seuls des jeux conçus dans le cadre d’une démarche raisonnée de type scientifique ou ingénieriste sont associés à un dispositif d’évaluation, plus ou moins complet (Dernat et al., 2022). Cela reste l’approche la plus classique liant jeux et évaluation.

Dans ce contexte, dès 2009, la communauté de Modélisation d’accompagnement (groupe « Commod » dont nos travaux sont issus) a travaillé systématiquement et collectivement (Jones et al., 2009 ; Perez et al., 2010) sur l’évaluation des jeux de rôle dans leur contexte de conception et d’usage, en recherchant une approche intégrée de l’analyse du processus et de l’impact. Cela faisait suite à une première approche analytique de la contribution de la modélisation participative aux processus décisionnels pour le développement durable (Ferrand et Daniell, 2006), qui introduisait le cadre analytique « ENCORE » (Externe, Normatif, Cognitif, Opérationnel, Relationnel, Équité) proposant une typologie d’impacts pouvant être générés par la modélisation participative. Nous y reviendrons dans la suite de cet article. Puis Maurel et al. (2007) introduisent des analyses d’usage et d’impact pour des outils participatifs en gestion de l’eau où la « trace » globale des pratiques des acteurs est le seul observable empirique possible. Il s’agissait donc, d’une part, de qualifier les rôles affectés aux acteurs autour d’un dispositif intermédiaire, ici un jeu, et, d’autre part, de distinguer et de suivre différents impacts, à chaque étape et pour chaque artefact mobilisé.

À la suite de ces travaux, quelles sont donc les hypothèses et approches concernant l’évaluation de jeux dans leur contexte d’usage ? Tout d’abord, les cadres théoriques et méthodologiques d’évaluation des processus participatifs sont pertinents pour évaluer les jeux dans leur contexte d’usage (Hassenforder et al., 2016). Ils invitent à qualifier conjointement mais distinctement le contexte, le processus participatif et ses impacts. On peut y ajouter une analyse spécifique de la conduite du jeu (Hassenforder et al., 2020). Ainsi, tout processus participatif reflète et fait évoluer l’état des agents et du collectif qui y participent : il illustre ce que les participants et participantes pensent (dimension cognitive), ce qu’ils souhaiteraient (dimension normative), certaines relations sociales (dimension relationnelle), leur mode d’agir ensemble (dimension opérationnelle) et la distribution des ressources matérielles ou immatérielles (équité). Ces différents types de changement ont été résumés dans le cadre analytique « ENCORE » (Ferrand et Daniell, 2006) qui en donne ainsi une lecture transversale et adisciplinaire. En pratique, et depuis 2004, tous les processus participatifs que nous avons mis en œuvre dans divers pays, avec ou sans jeux, ont été accompagnés d’une évaluation externe, avec un canevas commun qui reprend ce cadre ENCORE. Ces évaluations se sont appuyées sur différentes méthodes support : entretien préalable, observation du processus, analyse de débriefing, questionnaires, entretien a posteriori.

Nous retiendrons pour la suite les points d’attention suivants :

• Selon les finalités initiales du processus participatif et les autres outils participatifs mobilisés, un même jeu avec les mêmes participantes peut produire des effets différents ;

• Chaque composante d’un processus avec un jeu (contexte externe, cadre de mise en œuvre, participantes et leurs relations, jeu, animation, usage) peut avoir un impact différencié sur les dimensions ENCORE. La situation à analyser est donc bien globale ;

• L’évaluation fine des moments de jeu est complexe et peut nécessiter des méthodologies d’observation intensives issues, par exemple, de l’ethnométhodologie comme l’analyse du discours et du non verbal (Richebourg, 2019). Elle dépasse le cadre de toute évaluation courante ;

• Le débriefing de session (Hassenforder et al., 2020) est primordial pour permettre aux participants et participantes de qualifier eux-mêmes les impacts et discuter de leurs causes ;

• Les compétences requises pour l’observation, le suivi et l’analyse sont spécifiques et diversifiés. Il faut de préférence disposer de personnes dédiées ;

• La comparaison entre différents groupes ou cas jouant au même jeu et la comparaison diachronique (jeu répété avec un même groupe) nécessitent de systématiser les mesures, et donc de s’appuyer sur des trames d’observation et d’analyse ;

• L’évaluation impacte le processus (sauf dans le cas d’une observation externe « cachée ») en induisant un questionnement et une réflexivité additionnels ;

• L’évaluation est souvent une charge additionnelle pour les organisatrices et les participantes. D’où la recherche d’une approche endo-évaluative où l’évaluation est « cachée » dans le processus de jeu lui-même.

Jeux endo-évaluatifs dans la famille Wat-A-Game

Concevoir un jeu endo-évaluatif revient à s’interroger sur les éléments qui, dans un jeu, fournissent des indices évaluatifs intrinsèques. Les composants traçables dans un jeu sont de quatre types : les actions jouées ou non jouées, les comportements verbaux ou non verbaux des joueurs et des joueuses, les résultats induits dans la simulation, ainsi qu’éventuellement des feuilles de suivi individuel ou collectif. Extraire une évaluation répétable d’un jeu nécessite d’expliciter au préalable ce qui sera interprété des données ainsi recueillies. Cette explicitation peut être formalisée dans un manuel d’évaluation ou des trames d’observation. Les choix individuels d’actions que font les joueurs et les joueuses dans le cadre des contraintes imposées par le jeu peuvent, par exemple, qualifier 1/ ce sur quoi le joueur ou la joueuse porte son attention, ce qui est important pour lui ou elle ; ou 2/ son appréciation des différents choix possibles dans une situation de délibération « réaliste » et dans une dynamique d’action collective. On peut citer l’exemple de l’expérimentation d’autodescription de gestion agricole au Costa Rica (Bonifazi et al., 2016) ou encore l’expérimentation de choix de pratiques et de stratégies d’assainissement du dispositif WASTE-WAG dans le projet Planissim au Sénégal (Aucante et al., 2021). Par ailleurs, le processus même de modélisation, c’est-à-dire de construction du jeu, lorsqu’il est mené de manière participative, peut avoir un usage évaluatif (Jones et al., 2009 ; Becu, 2006) des représentations et de leur coproduction.

Nous prenons ici l’exemple des processus fondés sur l’usage des dispositifs de type Wat-A-Game (WAG). WAG est un canevas de modélisation et de simulation permettant de construire des jeux de rôle non informatisés sur la gestion de l’eau et des territoires (Abrami et al., 2012 ; Abrami et Becu, 2021). WAG fait partie d’un ensemble d’outils participatifs développés par des chercheurs de l’Unité mixte de recherche Gestion de l’eau, acteurs, usages à Montpellier intitulé CoOPLAGE³ (Ferrand et al., 2021). CoOPLAGE permet d’accompagner la participation de différents acteurs à différentes étapes du processus décisionnel (diagnostic, préparation, planification, etc.). Au sein de cet ensemble, WAG permet notamment d’accompagner les étapes de :

• diagnostic : les participants et participantes coconstruisent des modèles du territoire ;

• prospective : les participants et participantes explorent des futurs possibles par simulation participative de différents scénarios à travers un jeu de rôle ;

• planification : les participants et participantes proposent des actions alternatives et testent leurs effets dans le jeu.

WAG s’inscrit dans la lignée de la modélisation d’accompagnement (groupe ComMod – Étienne, 2010) et fournit un protocole de conception collective intitulé CREA-WAG. La version de base, intitulée INI-WAG, fournit des briques de construction matérielles associées à des règles d’usage standard (Fig. 4) ainsi qu’une bibliothèque de prototypes et de jeux. Il permet ainsi à des acteurs de concevoir un jeu de rôle sur leurs propres problématiques de gestion de l’eau et des territoires, puis de jouer à ce jeu de rôle dans le but de discuter de solutions possibles, d’explorer différents scenarii d’évolutions ou de concevoir un plan d’action.

Qu’évaluer ici ? Souvent regardé comme un jeu, INI-WAG est d’abord un outil de modélisation ouvrant sur le dialogue, la ludicité, la coconstruction, voire la transformation sociale. Il est donc évaluable vis-à-vis de ces objectifs (« faire dialoguer », « plaisir », « inventivité », « engagement dans l’action »). Mais son usage peut aussi être endo-évaluatif si des éléments évaluatifs sont intégrés dans le jeu.

Toute session WAG engage les participants et les participantes dans un dispositif où ils mobilisent effectivement des connaissances, des valeurs, des relations et des pratiques collectives, et expriment des régimes de justice distributive (sur les ressources à partager). Jusqu’en 2012, ces aspects étaient évalués de manière assez « classique », donc externe, à travers un questionnaire ex post pour les animateurs et les animatrices de sessions WAG et des questionnaires ex post destinés aux participants et aux participantes (Fig. 5).

Par la suite, pour répondre aux attentes des acteurs de minimiser les dispositifs d’évaluation, les concepteurs et conceptrices de WAG ont progressivement intégré dans les jeux leur propre dispositif d’évaluation, sans surcharge d’usage. Cela a consisté, entre autres, à supprimer les questionnaires ex ante/ex post, à intégrer des éléments de suivi dans le jeu lui-même (Fig. 6) et à favoriser leur usage réflexif.

Au-delà d’évaluations explicites incluses dans le protocole, quelles hypothèses préalables peut-on faire sur le jeu pour servir une endo-évaluation ? L’ontologie de la modélisation WAG détermine dans quelle mesure les modèles et les jeux produits peuvent servir d’objets intermédiaires ou d’interactions observables. L’usage des « briques » du jeu (rôles, ressources, actions, dialogues) [Fig. 4] révèle les choix des joueurs et des joueuses, puis ce qu’ils induisent. Ce sont des indicateurs directs soit de comportements réels possibles (si on fait l’hypothèse que les comportements dans le jeu correspondent aux comportements dans la réalité), soit de régularités, soit de comparaison entre groupes ou cas, ou bien encore de comparaison diachronique (jeu répété avec un même groupe).

En revanche, l’analyse requiert de fournir aux joueurs et joueuses des modèles a priori pour qu’elles puissent interpréter elles-mêmes les résultats de l’évaluation, et, par exemple expliciter des contrefactuels : les cartes et les séquences d’action non jouées, les interactions sociales manifestées ou pas, les valeurs exprimées, les situations non rencontrées. Finalement, restent non observables (sans autre dispositif) : des intentions volontairement masquées, des interprétations mutuelles, la satisfaction des buts réels. Dans le cas du jeu MpanGame (Fig. 6), les cartes non jouées par les joueurs et les joueuses étaient positionnées à côté du plateau de jeu et enregistrées. Le déploiement du jeu dans 32 communautés et le nombre répété de sessions de jeu (7 à 8 par communautés) ont permis de mettre en évidence ces régularités et ces comparaisons entre communautés.

Fig. 4 Différentes « briques » d’INI-WAG en usage : à son tour, une joueuse prélève l’eau (billes bleues) dans une rivière (la coupelle blanche) pour satisfaire les besoins de ses activités (cartes blanches) posées sur des parcelles (hexagones jaunes et verts). Puis, selon les cartes ainsi « activées », des retours en eau propre et en eau polluée sont évalués et renvoyés à la coupelle « rivière ». Les gains économiques sont aussi évalués. La coupelle est déplacée vers l’aval du réseau hydrographique (flèches bleues et oranges) et peut se déverser dans la coupelle « barrage » (rouge). Le dispositif inclut aussi des rôles et des règles non représentés ici – [Abrami et al., 2012] (© N. Ferrand).

Fig. 5 Évaluation par les joueurs de processus WAG lors de tests croisés (1 676 évaluations, 10 critères à noter entre 0 et 4, avec 20 points à allouer au total).

Fig. 6 Dans le jeu MpanGame en Ouganda (Afromaison, 2014), des fiches de suivi de la biodiversité, de la qualité de l’eau, et des activités sont remplies par les joueurs et les joueuses. Ces scores ont un impact sur le jeu (lien qualité de l’eau-biodiversité en aval) et sont donc rediscutés (© : É. Hassenforder).

Jeu évaluatif : l’exemple de CappWag

Nous définissons un jeu évaluatif comme un jeu dont la finalité est de produire par son usage une évaluation sur un groupe, une situation ou un autre dispositif. En théorie des jeux⁴ (Giraud, 2009), un cas classique est la comparaison transculturelle faite sur le jeu classique dit « de l’ultimatum » (Chuah et al., 2007). Certains jeux dans le champ de la gestion des ressources naturelles ont une ambition évaluative initiale ou qui s’est développée à travers leur usage. C’est le cas, par exemple, du jeu Fishbanks, initialement conçu comme un jeu de rôle représentant l’exploitation d’une pêcherie dans les conditions d’un marché libre, mais qui a ensuite été utilisé comme outil pour comparer des capacités de gestion des ressources naturelles (Meadows et al., 1993 ; Ruiz-Pérez et al., 2011). REHAB, un autre jeu de rôle informatisé traitant de la gestion et de la conservation des ressources communes, a été utilisé pour évaluer les impacts de la connaissance et de la communication entre les joueurs et les joueuses sur leurs choix de gestion (Le Page et al., 2016). Un dernier exemple est le jeu de société Concert’eau (Richard Ferroudji et Barreteau, 2007). Il simule un processus de décision collective, avec des éléments contextuels empruntés à deux études de cas permettant d’esquisser des catégories d’argumentation intégrées dans le jeu. Néanmoins, aucun de ces jeux n’avait pour finalité primaire de produire une évaluation.

Dans le champ de l’économie expérimentale, des jeux visent à tester des hypothèses concernant les comportements des individus au travers d’expérimentations de laboratoire sous conditions contrôlées (Carpenter et al., 2005 ; Heckman et Corbin, 2016 ; Madsen et Stenheim, 2015 ; Poteete et al., 2010). Le coût de ces démarches est élevé et la validité opérationnelle limitée. Par extension, les « expérimentations de terrain » [field experiments] (Harrison et List, 2004 ; Cardenas et al., 2013 ; Smajgl et al., 2011 ; Viceisza, 2015) ont cherché à trouver l’équilibre entre les environnements contrôlés des laboratoires et les spécificités du terrain. On peut noter, par exemple, le travail de Janssen et al. (2013) qui ont combiné l’utilisation d’un jeu de rôle à une analyse ethnographique pour étudier l’impact des réglementations sur la récolte de ressources communes. Néanmoins, ces recherches explorent principalement les rationalités d’acteurs isolés (Bots et van Daalen, 2007 ; Gasper, 2007), alors qu’un jeu évaluatif cherche justement à évaluer le comportement des acteurs sous contrainte collective, en considérant qu’ils peuvent agir en tant qu’ « agents divers, pensants et adaptatifs » (Gasper, 2007, p. 356 ; in Loudin, 2019) face à une ou plusieurs problématiques données.

Enfin, certaines évaluations réalisées dans le champ de la gestion des ressources humaines s’intéressent à l’action collective et aux dynamiques de groupe, en cherchant à analyser les capacités individuelles et collectives des personnes évaluées (Armstrong et Taylor, 2014). Depuis les années 2000, diverses entreprises utilisent des jeux sérieux pour recruter, intégrer, former, accompagner, valoriser, communiquer et sensibiliser (Allal-Chérif et al., 2015). On peut citer l’exemple du jeu Ace Manager de BNP Paribas ou du jeu Collock de PriceWaterHouseCoopers (Collock, 2019). Néanmoins, ces évaluations se centrent en général sur les actions effectivement réalisées. Les jeux évaluatifs cherchent également à évaluer les actions qui n’ont pas été réalisées mais ont été néanmoins envisagées par un individu, c’est-à-dire les fonctionnements potentiels, ou la capacité d’agir, en permettant d’enregistrer des intentions.

Sur cette base, nous avons donc souhaité développer un dispositif évaluatif à base de jeu (Encadré 1) permettant en particulier de qualifier des « capabilités » (Sen, 2000). Les capabilités sont des propriétés intrinsèques à des individus ou à des collectifs, mais qui ne sont pas nécessairement exprimées ou réalisées.

À l’issue des premières utilisations, CappWag produit des résultats comparables et caractéristiques des groupes tests, mais l’analyse reste complexe. L’usage a confirmé aussi que pour ses participants et ses participantes il n’est pas perçu comme une mesure proprement dite mais plutôt comme un exercice participatif en lui-même, dont la fonction n’est pas forcément distinguable de ce qu’il est censé évaluer (a fortiori s’il s’agit aussi de simulations participatives). Il devient ainsi un processus destiné à l’évaluation qui prend aussi un rôle transformatif, à l’inverse des jeux endo-évaluatifs qui sont transformatifs par design et secondairement évaluatifs.

L’originalité de CappWag réside néanmoins dans la tentative de systématisation d’une expérimentation comme dispositif de mesure (en particulier de contrefactuels), et son usage comme une épreuve de capacité collective à agir en réalisant des tâches spécifiques. L’usage d’un jeu évaluatif permet ainsi d’être plus transparent sur la réalité des pratiques collectives et individuelles.

Discussion : imputation causale versus intentions des conceptrices et des participantes

Les processus associant de la modélisation participative, des jeux et d’autres supports de transformation socioenvironnementale sont très complexes et engagent des dispositifs multiples dans des contextes changeants. Scientifiquement, les chercheurs et les chercheuses souhaiteraient cependant pouvoir démontrer l’impact effectif d’interventions spécifiques pour des enjeux de changement clairement établis. Opérationnellement, les porteurs et les porteuses souhaiteraient ainsi pouvoir choisir des stratégies d’intervention, et tactiquement piloter les processus en cours, pour voir réaliser leurs intentions initiales (Fig. 10).

Cela questionne notre capacité analytique sur l’imputation causale, c’est-à-dire la possibilité de retracer parmi l’ensemble de ce qui est mis en œuvre dans le processus ce qui produit un effet donné, dans la mesure où les causes seraient séparables et non systématiquement entrelacées. Les interactions jeu-évaluation précédemment envisagées, à savoir l’évaluation de jeux, les jeux endo-évaluatifs ou les jeux évaluatifs, résultent d’intentions initiales différentes de la part de leurs concepteurs et conceptrices. Il faut tenir compte également de l’intentionnalité des joueurs et des joueuses. Un jeu, de manière générale, est un dispositif social spécifique (temps, règles, artefact support) induit par un ou plusieurs concepteurs ou conceptrices, et au sein duquel les joueurs et les joueuses exhibent des intentions que le protocole de jeu va, ou non, actualiser et intégrer dans des chaînes causales complexes. Le jeu, par nature, produit des imprévisibilités, des résistances, des surprises (l’aléa selon Caillois, 1958). Dans le cas contraire, il serait morne, voire inutile. À ces aléas, chaque joueur et joueuse ou chaque groupe est tenu de réagir et de s’adapter selon ses aptitudes face à cette situation. Dès lors, il y a un enchevêtrement d’intentions et de réalisations à évaluer dans le jeu (Fig. 11) qui sont difficilement séparables :

• S’agit-il pour les conceptrices et les porteuses du processus participatif au sein duquel un jeu est mobilisé de « faire comprendre », de « faire changer », de « faire dialoguer » ou bien d’« analyser » ?

• S’agit-il pour les concepteurs et les conceptrices du jeu de « faire explorer », de « faire se confronter », d’« engager », ou d’« évaluer » ?

• S’agit-il pour les participants et les participantes, relativement à la situation réelle externe, objet du processus, de « comprendre », d’« améliorer ses conditions de vie », de « convaincre d’autres de… », ou de « coopérer » ?

• S’agit-il pour les participants et les participantes, dans leur engagement spécifique dans le processus participatif, de « rencontrer », d’« être entendue », ou de « prendre du pouvoir » ?

• S’agit-il pour les joueurs et les joueuses, dans leurs actions de jeu, de « s’amuser », d’« apprendre », de « se confronter », de « tester », ou de « gagner » ?

À ces déterminants intentionnels il convient d’adjoindre les facteurs externes, non contrôlés, issus soit du contexte social et de l’environnemental général, soit du contexte spécifique du processus ou jeu. L’analyse doit donc discriminer l’imputation causale interne au processus et au jeu (contexte du jeu, scénarios simulés, conditions individuelles, actions des joueurs et des joueuses et conséquences simulées), les imputations liées au processus décisionnel (autres étapes et outils), et celles liées au contexte périphérique du processus. Parmi ces facteurs croisés, on est donc amené à tenter de distinguer ce qu’une session de jeu va modifier de ce qu’elle peut révéler, ceci de façon contrôlée et répétable. C’est le rôle de l’évaluation secondaire faite, par exemple, par la métaévaluation dans les jeux évaluatifs.

Pour la conceptrice ou les joueuses, s’agit-il d’un « bon jeu » au sein d’un « bon processus », autrement dit satisfait-il leurs intentions ? Et le jeu conçu est-il la cause des effets produits sur les joueurs et les joueuses, ou serait-il substituable par un autre dispositif, moins coûteux ou plus efficace ? Cette question peut être explorée par des comparaisons expérimentales en contexte réel ou virtualisé (avec ou sans le jeu, avec des règles ou un pilotage variés), avec plusieurs groupes qui ne réitèrent pas le jeu (pour éviter des effets d’apprentissage), mais pour des typologies et des contextes similaires. Pour les joueurs et les joueuses, les questions diffèrent : ont-ils influencé le résultat observé ? Qu’en retenir hors du jeu ?

Les jeux évaluatifs relèvent d’une analyse similaire, équipés eux aussi d’une métaévaluation (CappWag, par exemple). Cependant, l’intention initiale du concepteur ou de la conceptrice est de produire une connaissance relative au groupe de joueurs et joueuses, de répondre à une question analytique. Par exemple : un processus participatif évalué par le jeu a-t-il développé la coopération au sein du groupe ? Il y a trois intentions concomitantes et différenciées : celle du concepteur ou de la conceptrice primaire du processus participatif à évaluer, qui demande au concepteur ou à la conceptrice de jeux évaluatifs de fournir un dispositif pour renseigner sur l’atteinte des objectifs, et celles des joueurs et joueuses qui vont parcourir à la fois le processus participatif et le ou les jeux évaluatifs (si le jeu est répété ex ante/ex post). Dès lors apparaît un nouveau problème d’imputation causale puisqu’entre le début et la fin de ce processus, les joueurs et joueuses auront utilisé deux ou trois dispositifs participatifs différents. Lequel est effectivement la cause des changements ainsi mesurés ? Sont-ils séparables ? Est-ce que l’instrument de mesure, le jeu évaluatif, ne serait pas lui-même la cause de ce qu’il révèle ? Et comment neutraliser ce type d’effet ? On utilise un jeu évaluatif pour mesurer des propriétés collectives et leurs évolutions, non testables réellement, par exemple comment un groupe fait face à des situations parfois improbables ou risquées. Les causes observées sont celles du temps de l’expérience. En comparaison, une évaluation délibérative ou une observation classique ne permettent pas de mesurer ces propriétés car les participants et participantes ne sont pas exposés aux coapprentissages, aux imprévus simulés dans le jeu, ni aux stratégies collectives.

Pour les différents types d’interaction jeu-évaluation, on dispose de trois modalités d’analyse causale : la comparaison diachronique ex ante/ex post, la comparaison entre différents cas ou groupes, et les indices directs, intrinsèques (actions jouées, dynamique du jeu). Comme on l’a vu pour CappWag, l’approche diachronique est peu compatible avec les jeux évaluatifs à deux sessions pour lesquels l’ex ante crée une cause secondaire à l’ex post. Elle est aussi inadaptée aux jeux endo-évaluatifs qui sont mono-session avec couplage jeu et évaluation. La comparaison entre des cas ou des groupes est adaptée aux trois types d’interaction, mais nécessite une analyse de contexte approfondie pour bien caractériser les spécificités des cas. Enfin, l’utilisation des indices intrinsèques requiert d’identifier au préalable les éléments qui seront interprétés, ce qui peut nécessiter une pré-enquête ou pré-analyse par des moyens classiques.

En définitive, ces trois types d’interaction jeu-évaluation appellent quelques recommandations pour la traçabilité des effets et l’imputation causale :

1. Caractériser les intentions et motivations de tous les acteurs du dispositif (comprenant les phases de conception, de mise en œuvre et d’évaluation) depuis les concepteurs et conceptrices du processus participatif et du jeu, jusqu’aux porteuses et joueuses, afin d’y attribuer les comportements observés ;

2. Caractériser les situations ou contextes du dispositif « à dires d’acteurs » avant et après les sessions pour pouvoir séparer les causes internes et les causes externes ;

3. Argumenter le choix de l’analyste entre une démarche expérimentale sous conditions contrôlées et restrictives, avec répétitions, coût élevé et validité opérationnelle limitée, par rapport à un dispositif opérationnel, moins contraint, mais aussi moins traçable et analysable ;

4. Généraliser et standardiser un cadre analytique, puis des processus de suivi-évaluation, des jeux évaluatifs et des processus endo-évaluatifs, avec des répertoires communs de données ouvertes pour permettre des comparaisons entre cas et groupes et des métaanalyses.

Pour l’imputation causale, il semble donc difficile de concilier l’expressivité et la complétude des causes analysables, la présence des effets collectifs dynamiques, et la validité externe des résultats.

Fig. 7 Séance du dispositif CappWag [2018] (© : S. Loudin).

Fig. 8 Schéma global d’une évaluation CappWag répétée avant et après le processus (d’après Loudin, 2019).

Fig. 9 Synthèse du changement de la capabilité « régulation » sur les groupes ayant participé à une évaluation ex ante/ex post (avant/après un processus collectif) [réalisation : S. Loudin (2019)] : chaque figure (rond, triangle, losange, etc.) correspond à un groupe et un dispositif évalué. En fonction des réponses données par les membres d’un groupe à une série de questions fermées, un score est obtenu et la capabilité évaluée est classée, selon que le groupe possède ou non la capacité à agir associée et s’y intéresse ou pas. Quatre options sont possibles : opposition à la capacité, intérêt pour la capacité, capacité, capabilité. Les flèches indiquent le changement avant-après et les représentations des figurés et des flèches en transparence ou pointillé la validité des données sur lesquelles se base l’évaluation (ainsi, si les réponses à un questionnaire sont contredites par les observations réalisées durant le jeu, cette contradiction apparaît dans la représentation graphique).

Fig. 10 Lien entre contexte socioenvironnemental, processus participatif, jeu, évaluation et pilotage.

Fig. 11 Entrelacement des intentions et autres causes possibles.

Conclusion

Nous avons introduit et comparé trois approches de l’évaluation avec et sur des jeux utilisés dans des processus participatifs : l’évaluation du jeu lui-même par des moyens externes ; les jeux endo-évaluatifs assurant des fonctions ludiques, constructives ou transformatives tout en produisant leur propre évaluation ; et l’utilisation d’un jeu évaluatif disposant d’une métaévaluation. À partir de l’expérience de jeux issus de la famille WAG et du jeu évaluatif CappWag, nous avons discuté des enjeux et des difficultés de ces approches. En particulier, nous avons évoqué le problème de l’encastrement d’un processus participatif à évaluer entre des jeux évaluatifs en comparaison ex ante/ex post, induisant des perturbations par apprentissage sur l’outil évaluatif. Enfin, nous avons discuté des différentes motivations des acteurs des processus et les avons rapprochées des objectifs d’imputation causale pour montrer que le cumul et l’hybridation des intentions ne permettent pas de dégager une méthode idéale pour l’analyse, que ce soit en intra-comparaison diachronique, en inter-comparaison de groupes ou de cas ou en évaluation intrinsèque. Dans la suite de ces travaux, nous entendons initier une réflexion collective pour adjoindre au cadre d’observation déjà mutualisé (Hassenforder et al., 2020) un ou plusieurs jeux évaluatifs ou endo-évaluatifs, ainsi qu’une base commune en données ouvertes permettant d’engager des comparaisons entre différents groupes ou cas pour des contextes et des processus diversifiés.

Remerciements

Les auteurs remercient tous les membres du collectif CoOPLAGE et WAG pour leurs apports.

Références

Liste des tableaux

Liste des figures

	Fig. 1 Schéma de principe de l’évaluation de jeux.
Dans le texte

	Fig. 2 Schéma de principe des jeux endo-évaluatifs.
Dans le texte

	Fig. 3 Schéma de principe des jeux évaluatifs.
Dans le texte

Fig. 4 Différentes « briques » d’INI-WAG en usage : à son tour, une joueuse prélève l’eau (billes bleues) dans une rivière (la coupelle blanche) pour satisfaire les besoins de ses activités (cartes blanches) posées sur des parcelles (hexagones jaunes et verts). Puis, selon les cartes ainsi « activées », des retours en eau propre et en eau polluée sont évalués et renvoyés à la coupelle « rivière ». Les gains économiques sont aussi évalués. La coupelle est déplacée vers l’aval du réseau hydrographique (flèches bleues et oranges) et peut se déverser dans la coupelle « barrage » (rouge). Le dispositif inclut aussi des rôles et des règles non représentés ici – [Abrami et al., 2012] (© N. Ferrand).

Dans le texte

	Fig. 5 Évaluation par les joueurs de processus WAG lors de tests croisés (1 676 évaluations, 10 critères à noter entre 0 et 4, avec 20 points à allouer au total).
Dans le texte

	Fig. 6 Dans le jeu MpanGame en Ouganda (Afromaison, 2014), des fiches de suivi de la biodiversité, de la qualité de l’eau, et des activités sont remplies par les joueurs et les joueuses. Ces scores ont un impact sur le jeu (lien qualité de l’eau-biodiversité en aval) et sont donc rediscutés (© : É. Hassenforder).
Dans le texte

	Fig. 7 Séance du dispositif CappWag [2018] (© : S. Loudin).
Dans le texte

	Fig. 8 Schéma global d’une évaluation CappWag répétée avant et après le processus (d’après Loudin, 2019).
Dans le texte

Fig. 9 Synthèse du changement de la capabilité « régulation » sur les groupes ayant participé à une évaluation ex ante/ex post (avant/après un processus collectif) [réalisation : S. Loudin (2019)] : chaque figure (rond, triangle, losange, etc.) correspond à un groupe et un dispositif évalué. En fonction des réponses données par les membres d’un groupe à une série de questions fermées, un score est obtenu et la capabilité évaluée est classée, selon que le groupe possède ou non la capacité à agir associée et s’y intéresse ou pas. Quatre options sont possibles : opposition à la capacité, intérêt pour la capacité, capacité, capabilité. Les flèches indiquent le changement avant-après et les représentations des figurés et des flèches en transparence ou pointillé la validité des données sur lesquelles se base l’évaluation (ainsi, si les réponses à un questionnaire sont contredites par les observations réalisées durant le jeu, cette contradiction apparaît dans la représentation graphique).

Dans le texte

	Fig. 10 Lien entre contexte socioenvironnemental, processus participatif, jeu, évaluation et pilotage.
Dans le texte

	Fig. 11 Entrelacement des intentions et autres causes possibles.
Dans le texte