Dossier « L’évaluation des jeux sérieux sur les thématiques agro-environnementales, territoriales et alimentaires » – Jeux évaluatifs, endo-évaluatifs et imputation causale^★

From evaluative and endo-evaluative games to causal imputation

¹ Ingénierie de participation et décision, UMR G-EAU, INRAE, CIRAD, IRD, AgroParistech, Institut Agro, BRGM, Université de Montpellier, Montpellier, France
² Sciences de la participation et sciences de gestion, UMR G-EAU, CIRAD, INRAE, IRD, AgroParistech, Institut Agro, BRGM, Université de Montpellier, Montpellier, France
³ Sciences de l’eau, UMR G-EAU & ABIES, INRAE, CIRAD, IRD, AgroParistech, Institut Agro, BRGM, Université de Montpellier, Montpellier, France
⁴ Sciences de la participation, UMR G-EAU, INRAE, CIRAD, IRD, AgroParistech, Institut Agro, BRGM, Université de Montpellier, Montpellier, France

^* Auteur correspondant : nils.ferrand@inrae.fr

Résumé

Évaluer des jeux et leur impact est devenu canonique. Évaluer avec un jeu l’est moins. Cet article introduit et compare trois approches de l’évaluation avec et sur des jeux utilisés dans des processus participatifs : 1/ l’évaluation du jeu lui-même par des moyens externes ; 2/ les jeux dits « endo-évaluatifs » qui ajoutent à leur finalité ludique ou transformative une évaluation de leur usage et/ou de leur impact et 3/ les jeux évaluatifs dont la finalité même est l’évaluation. Après avoir fourni des exemples de ces trois approches autour des outils Wat-A-Game et CappWag, nous discutons de leurs enjeux et difficultés, notamment en termes d’analyse des liens entre causes et effets (« imputation causale »). En conclusion, le fait que conceptrices et joueuses aient des objectifs évaluatifs divergents ne permet pas de dégager une approche unique pour l’analyse, que ce soit pour comparer un cas avant-après, pour comparer différents groupes ou cas ou en évaluation unique. Nous proposons néanmoins des recommandations pour la traçabilité des effets.

Abstract

Evaluating games and their impact has become canonical. Evaluation using a game is less so. This paper investigates how designers of game-based participatory processes can adapt these processes in order to infer valid evaluative conclusions, with minimal disruption and burden to the players. We introduce and compare three approaches to evaluation with and on games used in participatory processes: 1/ the evaluation of the game itself by external means, 2/ endo-evaluative games which include an evaluation of their use and/or impact as part of the game itself, and 3/ evaluative games whose very purpose is evaluation. After providing examples of these three approaches stemming from Wat-A-Game and CappWag, we discuss their challenges and difficulties, particularly in terms of causal attribution. In conclusion, the fact that designers and players have divergent evaluation objectives means that there is no single approach to evaluation, whether for comparing a case before and after, for comparing different groups or cases, or for a single evaluation. Nevertheless, we propose some recommendations for effects tracing.