© R. Etienne et al., Hosted by EDP Sciences

Parmi les outils permettant l’accompagnement des agriculteurs dans les transitions agricoles, notamment agroécologique, les « jeux sérieux » occupent une place grandissante (Flood et al., 2018 ; Hernandez-Aguilera et al., 2020). Ils engagent l’utilisateur et contribuent à la réalisation d’un objectif défini autre que le divertissement pur (Engström et Backlund, 2022)¹.

Ces outils sont particulièrement adaptés pour traiter de la durabilité et initier des changements (Rodela et al., 2019), en particulier en agriculture (Dernat et al., 2025). En effet, les spécificités de la thématique agricole, à la fois subjective, entrepreneuriale, complexe et systémique, en font un bon support pour les jeux. Le second degré, la frivolité et l’incertitude qui caractérisent les jeux sérieux sont aussi un moyen de minimiser les conséquences et de privilégier l’expérience vécue (Brougère, 2012). De plus, le système de décision et les mécanismes de décision qui en découlent motivent et engagent les joueurs dans le déroulé du jeu, justifiant ainsi leur usage plutôt qu’un autre support d’accompagnement. Leur représentation simplifiée de la réalité est également un atout pour réaliser des projections ou simuler de nouvelles pratiques, tout en réduisant la prise de risque (Hernandez-Aguilera et al., 2020 ; Plass et al., 2015). Pratiqués en groupe, les jeux amènent à expliciter le point de vue des parties prenantes, tout en gommant les asymétries décisionnelles entre acteurs (Dernat et al., 2018 ; Barnaud et Van Paassen, 2013). Sous la forme de jeu de rôle (Boulestreau et al., 2023), de jeu de plateau (Martel et al., 2022) ou encore de jeu informatisé (Jouan et al., 2021), ils induisent ainsi une réflexion partagée dans le cadre de démarches participatives (Rodela et al., 2019 ; Stanitsas et al., 2019).

Toutefois, l’intégration de jeux dans des démarches d’accompagnement représente un coût en temps et en ressources (Ryschawy et al., 2022) et les impacts de l’utilisation des jeux sont encore trop peu mis en évidence (Rodela et Speelman, 2023).

Dans la littérature, les travaux se limitent souvent à l’utilisation d’un seul et même jeu (Dolinska, 2017). Plusieurs auteurs ont toutefois démontré l’intérêt de l’itération d’un même jeu afin de concevoir plusieurs scénarios successivement (Martin et al., 2018), ou de la combinaison de plusieurs jeux afin de dépasser les limites d’un jeu unique (Ryschawy et al., 2022). Certaines démarches proposent aussi de les associer à d’autres méthodes telles qu’un coaching individuel agricole (Moojen et al., 2022), des ateliers participatifs (Morris et al., 2020) ou la coconception d’innovations (Boulestreau et al., 2023). Le jeu ne représente cependant qu’une étape au sein d’un processus d’accompagnement et n’est pas utile en toute situation.

Afin d’analyser ce que le jeu produit dans la réalité, l’évaluation est indispensable. Celle-ci peut être menée ex ante, ex post et in itinere² et porter sur le jeu en lui-même, son intérêt pédagogique ou la mise en action (Dernat et al., 2023). Notre contribution s’inscrit dans ce dernier objectif. Des modèles d’évaluation existent (Flood et al., 2018 ; Rodela et al., 2019) mais ils se restreignent à un jeu unique et aux effets à court terme (Hassenforder et al., 2020). Par ailleurs, on trouve peu d’évaluations chemin faisant, c’est-à-dire au cours de la démarche d’accompagnement et sur le temps long, afin de l’améliorer, notamment avec différents jeux et d’autres formes d’intervention. Une exception est l’étude de García-Barrios et al. (2017), qui relate des ajustements entre deux ateliers permis par l’évaluation. Enfin, peu d’études s’appuient sur une méthode d’évaluation systématique, adaptable et opérationnelle, qui soit facilement intégrable à la conception de démarches basées sur les jeux sérieux en agriculture (Mislevy et al., 2012).

Dans cet article, une méthode d’évaluation chemin faisant d’une démarche d’accompagnement agricole combinant différents jeux sérieux est présentée. Cette démarche a été utilisée pour accompagner des changements de pratiques agricoles d’éleveurs faisant face à des enjeux de changement climatique. La démarche repose sur différentes étapes, chacune ayant un objectif précis, porté par un jeu ou d’autres formes d’accompagnement. Un modèle d’évaluation adapté de la littérature est présenté ainsi que les outils mobilisés. Le déroulement de la démarche d’accompagnement est ensuite explicité, en mettant en évidence les étapes de suivi et les ajustements successifs au cours du processus. Les points forts et les limites de cette évaluation participative et qualitative, ainsi que son utilisation pratique pour l’accompagnement agricole, sont enfin discutés.

Matériel et méthode

Description du cas d’étude et des jeux

L’étude de cas concerne un collectif d’éleveurs bovins laitiers sous signe de qualité fromagère d’appellation d’origine protégée (AOP) de la Fourme de Montbrison, située dans la Loire (42). À l’issue d’un processus de réflexion collective, décrit par Dernat et al. (2022a), cette filière AOP s’est impliquée, avec une équipe de recherche interdisciplinaire, dans le projet de recherche-action Trans[Fourm]ation, de 2018 à 2022. L’un des axes de travail concerne l’adaptation future des systèmes fourragers face au changement climatique, notamment le manque de disponibilité en fourrage lié aux sécheresses, à l’échelle des fermes et du territoire. Pour cela, un groupe d’une quinzaine d’éleveurs, le « groupe Fourrages », a été constitué début 2021 sur la base du volontariat. Il vise à échanger collectivement et à tester des solutions d’adaptation innovantes sur le terrain par les agriculteurs eux-mêmes. Il a été coanimé par quatre personnes (l’animatrice du syndicat d’AOP, deux éleveurs administrateurs de l’AOP et une chercheuse coautrice du présent article) et repose sur un processus participatif articulé autour de jeux sérieux et d’autres modalités d’animation (formations, expérimentations sur les fermes, visites de fermes) nécessitant l’intervention ponctuelle d’autres acteurs locaux (conseiller indépendant). L’objectif d’accompagnement du groupe est complexe et renvoie à des enjeux multiples, c’est pourquoi une combinaison de différents jeux avec d’autres modalités d’animation a semblé pertinente.

Tous les jeux qui ont eu un rôle dans la conception sont présentés ici, y compris l’un d’entre eux qui n’a finalement pas été utilisé. Ils ont été identifiés en raison de leur lien avec la thématique de l’adaptation des élevages et des systèmes fourragers en contexte de changement climatique. Les spécificités de chaque jeu sont résumées ici (Tab. 1) :

• Le jeu collaboratif Lauracle (Levier d’AUtonomie pour Résister aux Aléas CLimatiquEs) permet de choisir parmi une quarantaine de cartes décrivant succinctement des leviers d’autonomie fourragère, suivant une stratégie d’anticipation ou de réaction, mobilisables face aux aléas climatiques, à l’échelle de la parcelle, de l’assolement, ou de la filière (Célerier et al., 2018). Après un processus de choix, un plan d’action est élaboré en fin de session en fonction de l’objectif de départ afin de mettre en œuvre les leviers identifiés par les joueurs ;

• Le Rami fourrager est constitué d’un plateau de jeu relié à un support informatique, permettant la conception itérative et collective de scénarios de systèmes fourragers sur une année, adaptés au changement climatique (Martin et al., 2011). Il a eu de nombreuses utilisations reconnues (Martin et al., 2011 ; 2016 ; Sautier, 2013). Au cours des phases de conception, la simulation informatique, gérée par l’animateur, permet de visualiser rapidement les impacts des modifications réalisées par les joueurs ;

• Le jeu Aeole permet d’améliorer les connaissances des joueurs sur l’intérêt de la complémentarité des types de prairies au sein d’une exploitation ou d’un territoire, en réponse à des aléas notamment climatiques (Carrère et al., 2021). Les joueurs peuvent choisir différents types de prairies, en fonction de leurs potentialités, les intégrer à leur exploitation matérialisée par un plateau de jeu individuel, puis ajuster leurs choix en fonction d’une stratégie collective. Il permet d’appréhender à l’échelle collective et territoriale les conséquences à long terme de décisions individuelles ;

• Le jeu Dynamix permet de concevoir collectivement des scénarios d’intégration culture-élevage au-delà de l’exploitation agricole (Ryschawy et al., 2022). Dans sa version proposée ici, des scénarios d’échanges de fourrages sont simulés entre acheteurs et vendeurs, puis représentés sur une carte du territoire. Les joueurs peuvent ensuite gagner collectivement le jeu en fonction d’un score déterminé par un système de points (Robiou du Pont, 2022).

Méthode d’évaluation chemin faisant et d’ajustement

Adaptation du modèle de Kirkpatrick

Afin d’ajuster la démarche chemin faisant, le modèle d’évaluation de Kirkpatrick ou New World Kirkpatrick’s Model (NWKM) a été adapté et mobilisé (Kirkpatrick et Kirkpatrick, 2016). Initialement conçu pour l’analyse de programmes de formation et d’éducation, il a déjà permis d’évaluer des méthodes d’accompagnement agricole (Murphrey et al., 2018 ; Dernat et al., 2022b), des jeux sérieux digitaux à but pédagogique (Emmerich et Bockholt, 2016) ou encore des jeux de simulation (Peters et al., 2014). Ce modèle a été choisi car il est tourné vers la mise en action et ne se limite pas à l’évaluation des réactions et de l’expérience des joueurs contrairement à d’autres modèles. Il s’appuie sur un processus ouvert d’évaluation systémique multiniveaux, in itinere et a posteriori : quatre niveaux d’évaluation sont proposés, individuels à court terme (niveaux 1 : réactions ; niveau 2 : apprentissages) et collectifs à moyen terme (niveaux 3 : comportements ; niveau 4 : résultats). Le modèle repose également sur le suivi et l’évaluation des niveaux 3 et 4 et l’ajustement au cours de la démarche si les actions ne tendent pas vers l’objectif initial.

En repartant de la proposition de Dernat et al. (2022b), le NWKM est adapté à l’évaluation de jeux sérieux (Fig. 1). Les quatre niveaux sont d’abord évalués à chaud, pendant les sessions de jeux (réactions et apprentissages) puis à froid hors des sessions de jeux (comportements et résultats). Le niveau 3 (comportements) est notamment considéré ici comme une étape intermédiaire de changement qui a lieu au cours de la démarche d’accompagnement, tandis que le niveau 4 (résultats) correspond à un impact plus global à l’issue de la démarche, à l’échelle individuelle ou collective. Les quatre niveaux sont suivis en continu et l’ajustement a lieu entre les sessions de jeux. L’utilisation du NWKM pour mesurer les impacts de la démarche à moyen terme n’est pas traitée ici. Le détail du contenu des niveaux est présenté (Annexe 1³) en indiquant leurs évolutions par rapport à ses utilisations précédentes.

Fig. 1 Modèle d’évaluation de l’accompagnement par les jeux sérieux (d’après Kirkpatrick et Kirkpatrick, 2016).

Outils de suivi-évaluation

Pour évaluer les quatre niveaux du modèle, des outils d’observation dans le jeu (debriefing cards, grille d’observation et de résultats) sont combinés à une observation continue dans le réel (observation participante, entretiens individuels). Ils se basent sur des travaux existants et ont été adaptés au cas d’étude. Dans le jeu et juste après :

• Une grille d’enregistrement des résultats (Annexe 2) adaptée de Célerier et al. (2018) permet de tracer les sorties des jeux telles que les choix de leviers du jeu Lauracle ou les résultats des simulations de scénarios conçus avec le Rami fourrager (niveau 2). Les indicateurs sont propres à chaque jeu et la grille est complétée par l’animateur ou les joueurs au cours de la session ;

• Les sessions de jeux sont également suivies à l’aide d’une grille d’observation descriptive libre, remplie par un observateur, inspirée de Hassenforder et al. (2020) en veillant, par exemple, à distinguer les éléments verbaux des éléments non verbaux (Annexe 3). Elle permet de tracer chronologiquement la satisfaction et la participation active des joueurs (niveau 1) ainsi que les stratégies choisies dans le jeu (niveau 2). Cette observation permet d’objectiver les résultats et fournit une vision différente et complémentaire des animateurs de la session de jeu. Elle enrichit l’analyse permise par la vidéo et la retranscription quasi intégrale de la session de jeu ;

• Les debriefing cards (Quach, 2019) permettent enfin de mesurer la satisfaction à chaud (niveau 1) des agriculteurs, à la fin des sessions de jeux, ainsi qu’une expression sur les niveaux 2 à 4 et sur les supports de jeu et l’animation (Crookall, 2014 ; Hassenforder et al., 2020). À la fin de la session, chaque joueur tire une carte de débriefing et répond à la question indiquée, dans l’ordre des niveaux du NWKM (Annexe 4). Cette étape est cruciale pour faire un pont entre le jeu et la vie réelle (Falk et al., 2023) ;

Suivi en continu :

• Tout au long de l’accompagnement, des outils d’observation participante (DeWalt et DeWalt, 2011) facilitent le suivi chemin faisant de l’ensemble des niveaux, notamment des niveaux 3 et 4, qui ne peuvent pas être observés pendant les sessions de jeux. Pour cette observation, il n’y a pas d’indicateurs prédéfinis, il s’agit d’une prise de notes libres et d’une retranscription partielle des échanges au cours des rencontres intermédiaires menées avec le syndicat d’AOP dans le cadre de l’accompagnement du groupe Fourrages (formations, visites de fermes, tests sur les fermes) ou avec d’autres organismes techniques locaux. Le nombre de participants est également compilé au fil de l’eau (niveau 1). Le suivi d’un groupe de discussion Whatsapp, créé pour faciliter les échanges entre les éleveurs, agrémente également ce recueil d’informations, tels que les retours d’expériences partagés par les agriculteurs et la dynamique collective. Tous ces éléments contribuent à mieux appréhender la place des jeux dans l’accompagnement proposé et dans le contexte local de conseil agricole.

• Des entretiens individuels compréhensifs menés auprès des agriculteurs (n = 14) au début de l’accompagnement visent à caractériser la situation de départ. Des entretiens ont également été menés en fin d’accompagnement avec les éleveurs, l’animatrice et le conseiller, mais ne sont pas détaillés ici.

Les différentes méthodes et outils de l’évaluation, ainsi que leur période d’utilisation et les modalités d’évaluation en lien avec les quatre niveaux du NWKM et le suivi-ajustement, sont synthétisés ci-dessous (Tab. 2). Les éléments observés pour chaque niveau sont analysés de manière qualitative, au fur et à mesure, afin de vérifier l’adéquation de la démarche aux objectifs du groupe et aux attentes des agriculteurs. L’ajustement consiste à prendre en compte cette évaluation et à adapter la version initiale de la démarche d’accompagnement pour aboutir à une version améliorée chemin faisant. L’analyse complète de ce matériau a été réalisée pour l’évaluation a posteriori mais n’est pas développée dans cet article.

Résultats

Les résultats du suivi-évaluation et des ajustements de la démarche d’accompagnement sont présentés ici. La chronologie finale de l’accompagnement est explicitée dans un premier temps (Fig. 2) avant de présenter les différents ajustements réalisés, numérotés de i à vii.

Fig. 2 Résultats du suivi-ajustement chemin faisant de la démarche. La version initiale de la démarche apparaît en haut et la version finale ajustée en bas de la figure. Les outils d’observation figurent à chaque étape. Les ajustements réalisés chemin faisant sont numérotés de i à vii.

Chronologie de l’accompagnement

Dans la version initiale de l’accompagnement, avant ajustement (haut de la Fig. 2), il était prévu de combiner les jeux Lauracle, Rami fourrager et Aeole, sans anticiper précisément le nombre de sessions, leur ordre de mobilisation ou d’autres formes d’intervention intermédiaires. Le jeu Dynamix n’avait pas encore été identifié.

Dans la version réelle de l’accompagnement, après ajustement (bas de la Fig. 2), le groupe Fourrages est tout d’abord créé auprès des éleveurs portés volontaires. Après plusieurs rencontres et formations en salle ou sur le terrain, une stratégie collective est définie à l’aide du jeu Lauracle (i). À l’issue d’un test du jeu Aeole avec deux agriculteurs du groupe, celui-ci n’est finalement pas mobilisé dans l’accompagnement (ii). Certains des leviers à l’échelle de l’exploitation, identifiés grâce à Lauracle, sont ensuite simulés avec le jeu Rami fourrager sur une première ferme support d’un éleveur volontaire, et d’autres leviers sont testés expérimentalement sur des fermes du groupe (iii). Il est décidé de remobiliser le Rami fourrager lors d’une deuxième session améliorée sur une autre ferme du groupe (iv). Enfin, l’optimisation des stratégies d’achat et de vente de fourrages à l’échelle du territoire AOP est une voie d’adaptation pour la filière proposée par les participants de Lauracle. L’utilisation du jeu Dynamix après son adaptation semble alors pertinente pour traiter cette question (v). Les expérimentations sur les fermes sont également accompagnées par un conseiller technique indépendant (vi). Dans la continuité de ces réflexions, une « brosseuse à graines » (machine permettant de récolter des graines de prairies), considérée comme une des voies possibles d’adaptation (vii), est construite à l’initiative des éleveurs et de l’AOP. Des journées intermédiaires aux sessions de jeux sont aussi mises en place tout au long de la démarche.

Description du suivi-évaluation et des ajustements

Le suivi-évaluation des quatre niveaux du NWKM, mené en continu et/ou dans le jeu, permet de collecter un faisceau d’informations qui sont ensuite rediscutées avec les coanimateurs du groupe. En fonction de ces résultats, plusieurs types d’ajustements sont ensuite réalisés. Ils portent d’une part sur le choix des jeux et leur animation (ajustements i. à v.) et d’autre part sur l’accompagnement de terrain qui ne concerne pas directement les jeux (ajustements vi. et vii.). Détaillés ici, ils s’appuient sur quelques verbatim sélectionnés.

Résultats des ajustements pour la mobilisation et l’animation des jeux

Lors de la première rencontre du groupe Fourrages, les éleveurs citent de nombreux leviers d’adaptation des systèmes fourragers (niveau 2) mais ont du mal à les prioriser (techniques de pâturage, modifications d’assolement…). Le jeu Lauracle (Fig. 3) semble alors pertinent pour répondre à ce besoin et sa mobilisation constitue le premier ajustement de la démarche (i.). L’observation participante lors des premières rencontres du groupe et les entretiens menés avec les éleveurs permettent d’adapter le jeu en amont de la session. Les debriefing cards et l’observation de la session montrent que le jeu est bien reçu et l’ensemble des éleveurs présents participe activement à la session (niveau 1). Ils choisissent collectivement cinq leviers à tester potentiellement au niveau des exploitations (semis de prairies longue durée, cultures fourragères annuelles, méteil double fin, techniques de fauche et de semis) et du territoire (achat-vente de fourrages sur la zone AOP) puis ils construisent collectivement un plan d’action comme l’exprime un joueur ci-dessous (i) :

« Ça nous a permis d’échanger et de savoir ce sur quoi on aimerait échanger plus tard. »
(Verbatim extrait des réponses des joueurs aux debriefing cards de la session Lauracle)

Une session test du jeu Aeole avec les deux agriculteurs référents du groupe et l’animatrice de l’AOP est organisée et révèle que, selon eux, le jeu manque de précision et de réalisme (niveau 1) et semble peu adapté aux besoins du groupe. Les agriculteurs notent de plus qu’ils n’ont pas acquis des connaissances par le jeu (niveau 2) et souhaitent une mise en pratique concrète (niveau 3), ce qu’Aeole ne permet pas directement.

« Je n’ai pas l’impression d’avoir appris grand-chose. »
« Je me suis surtout demandé quel était l’intérêt pour le groupe Fourrages. »
« Le jeu gagnerait à être plus précis. »
(Verbatim des joueurs extraits de l’évaluation à froid du jeu Aeole)

Ce constat est aussi confirmé suite aux premières rencontres, à l’utilisation du jeu Lauracle et par les premiers entretiens exploratoires. Le jeu Aeole n’est alors pas intégré dans la suite de l’accompagnement (ii.).

Au cours du jeu Lauracle, les agriculteurs ont identifié quatre leviers pouvant être testés à l’échelle de l’exploitation (niveau 2). Toutefois, via le débriefing à chaud et l’observation participante dans le jeu et lors des différentes rencontres du groupe, les agriculteurs expriment un besoin d’échanges techniques entre eux. Le Rami fourrager est donc validé comme support pertinent de conception de scénarios, mais il est proposé de le combiner à des expérimentations et des visites sur les fermes volontaires du groupe (niveau 3). Après la coconstruction collective en salle d’un protocole expérimental, des premiers tests sont menés, quelques mois plus tard, par les éleveurs et observés en collectif lors de plusieurs journées de terrain (iii.).

« Il faut privilégier des essais locaux sur la zone fourme. Certaines fermes ont proposé des surfaces pour réaliser des essais. »
(Verbatim extrait de la première rencontre du groupe)
« Il faudra aller voir sur le terrain, qu’il y ait d’autres journées derrière. »
« J’aimerais voir des résultats pour tester et voir si ça vaut le coup ou pas. »
(Verbatim extraits des réponses des joueurs aux debriefing cards de la session Lauracle)

Grâce aux debriefing cards utilisées à chaud suite à la première session du Rami fourrager, les agriculteurs ont indiqué qu’ils n’étaient pas entièrement satisfaits du déroulé de la session, notamment du temps consacré à la conception de leviers d’adaptation et de certains éléments de jeu (niveau 1). Une seconde session du Rami fourrager est alors mise en place dans une version optimisée quelques mois plus tard (Fig. 3) [iv.].

Pour répondre au levier visant l’optimisation des stratégies d’achat et de vente de fourrages à l’échelle du territoire (niveau 2), le jeu Dynamix est proposé afin de simuler des échanges entre des acheteurs, éleveurs participant au groupe, et des vendeurs, agriculteurs présents sur la zone AOP. Les résultats et le débriefing de Lauracle permettent notamment de préparer son adaptation au cas d’étude (v.).

« Il faut savoir qui a du fourrage disponible d’un côté et qui a un besoin d’achat » ;
« […] il faudrait identifier les exploitants intéressés, leur écrire. »
(Verbatim des joueurs extraits de l’observation du jeu Lauracle)

Fig. 3 Photos de sessions de jeux Lauracle à gauche (une table de 4 éleveurs, 1 chercheur-observateur et 1 animatrice) et Rami fourrager à droite (3 éleveurs participants et 2 coanimatrices) [© R. Etienne].

Résultats des ajustements pour la démarche d’accompagnement sur le terrain

Un besoin de connaissances extérieures et d’apports techniques (niveau 2) est exprimé par les agriculteurs lors des entretiens et des premières rencontres. Un conseiller technique indépendant est alors associé plus étroitement à l’accompagnement et intervient lors des formations ou du suivi des expérimentations sur le terrain (vi.).

Par ailleurs, des ajustements de la démarche sont également issus des acteurs eux-mêmes. Soucieux de la rapidité de mise en œuvre d’actions concrètes, le syndicat d’AOP a impulsé, avec un petit groupe d’éleveurs, un projet de construction et d’utilisation d’une « brosseuse à graines ». Plusieurs fermes du groupe ont mené des premiers tests de brossage de leurs prairies en 2022 dont les résultats ont été suivis et discutés au sein du groupe Fourrages avec le conseiller indépendant (vii.). Enfin, des effets possibles de la démarche sur le terrain, à l’échelle de la parcelle, de l’exploitation ou du territoire, tels que des évolutions de pratiques, des premiers échanges de fourrages entre les fermes et les tests de la brosseuse à graines (Fig. 2) sont pour certains déjà visibles mais non détaillés ici.

Discussion

Intégrer l’évaluation au cours d’une démarche d’accompagnement agricole basée sur les jeux pour l’améliorer : une preuve de concept

Les résultats montrent qu’une évaluation menée chemin faisant, en fonction des objectifs définis clairement au départ, permet d’ajuster et d’améliorer une démarche d’accompagnement agricole reposant sur des jeux sérieux au cours de sa conception. Ils sont ici associés à d’autres modalités d’accompagnement (formations, visites de fermes, tests sur les fermes) sur une période de deux ans. La combinaison des outils d’évaluation facilite l’évaluation rapide à chaud et en continu et l’ajustement de la démarche au fur et à mesure. La méthode d’évaluation proposée est systémique, menée dans l’action et ne repose pas sur un outil d’évaluation unique mais fournit, au contraire, un ensemble de traces (Sanchez et al., 2015). Parmi les éléments-clés du suivi de la démarche, le test de chaque jeu en amont de sa mobilisation réelle avec les acteurs est essentiel. Le débriefing avec les participants est aussi un outil indispensable d’évaluation à chaud des sessions de jeux, facilitant l’ajustement rapide de la démarche (Crookall, 2014). L’observation continue et les entretiens aident quant à eux à affiner le suivi de l’accompagnement.

Des ajustements sont ensuite mis en place au cours de la démarche et concernent le choix de jeux pertinents, leur animation et leur adaptation entre deux sessions, ou encore la mise en place d’autres formes d’accompagnement sur le terrain (expérimentations, intervention d’un conseiller technique). Ces ajustements révèlent la nécessité d’articuler les jeux à d’autres rencontres intermédiaires telles que des formations, en salle et sur le terrain, suffisamment espacées entre elles. Elles sont un espace d’acquisition et de partage de connaissances, de mise en pratique des résultats des jeux, ou encore d’expérimentations à la ferme, afin d’observer des applications concrètes demandées par les agriculteurs. L’implication d’un conseiller fournissant une expertise technique et un regard extérieur au groupe a également semblé essentielle pour diversifier et nuancer les points de vue (Dernat et al., 2022b). L’innovation agricole dépend notamment de l’implication de nouveaux acteurs « passeurs de frontières » tels que des consultants spécialisés qui facilitent les solutions (Klerkx et al., 2010) et maintiennent l’engagement des agriculteurs dans la dynamique (Ryschawy et al., 2022). Certains ajustements ne règlent toutefois pas tout, comme le montrent des évaluations négatives parfois difficiles à améliorer en cours de route, mais visent une amélioration continue de l’accompagnement.

Ce cas d’étude montre aussi que des innovations techniques (brosseuse à graines) et sociales (échanges de fourrages) émanent du terrain et viennent compléter les ajustements proposés par l’équipe de recherche. Ces résultats, non envisagés au départ, sont liés à la démarche d’accompagnement qui a favorisé des interactions, entre pairs et avec le conseiller indépendant, à l’origine de ces initiatives. Il s’agit de résultats essentiels car impulsés par les acteurs eux-mêmes. D’autres effets de la démarche existent probablement mais ne sont pas encore perceptibles.

L’adaptation du NKWM, une méthode d’évaluation innovante

Pour réaliser cette évaluation multidimensionnelle et systémique, le modèle NWKM a été adapté pour ce cas d’étude. Suffisamment simple par rapport à d’autres méthodes d’évaluation, il permet un suivi-ajustement efficace et dans l’action de la démarche d’accompagnement. Cette méthode a été proposée en situation réelle d’accompagnement d’un petit groupe d’agriculteurs et ne repose donc pas sur un protocole expérimental avec groupe témoin (Emmerich et Bockholt, 2016). Certains niveaux (réactions et apprentissages) sont plus faciles à évaluer et livrent beaucoup d’informations mais semblent moins importants pour les acteurs accompagnés. À l’inverse, les niveaux les plus intéressants pour les acteurs, ceux liés à l’action (comportements et résultats), sont plus complexes à évaluer à chaque étape et sont agrégés au fur et à mesure de l’accompagnement. Cette nouvelle version du modèle d’évaluation NKWM aide ainsi à choisir des jeux adaptés et à ajuster l’accompagnement de terrain en fonction des objectifs définis au départ. Il ne s’agit pas d’un processus linéaire mais d’un apprentissage itératif et adaptatif, bien adapté à la transition des systèmes agricoles dans un contexte incertain (Lacombe et al., 2018). En effet, l’analyse repose non pas sur une analyse approfondie et exhaustive qui nécessiterait plus de temps, mais pour beaucoup sur l’intuition et la discussion régulière au sein du collectif d’animation du groupe d’éleveurs pour faire des choix au fur et à mesure de l’accompagnement.

Limites de l’étude

L’évaluation chemin faisant prend en compte différents éléments observés à chaque étape. Cependant, l’évaluation en continu indique seulement une tendance vers des résultats, mesurables à moyen et long termes, qui dépassent le cadre du présent article. Une analyse complète de l’ensemble du matériau collecté sera alors réalisée afin de détecter les retombées a posteriori de la démarche, en les reliant directement (attribution) ou indirectement (contribution) à celle-ci (Bakker et al., 2021). Cette analyse reposera notamment sur des entretiens finaux menés deux ans après la création du groupe, avec les éleveurs ayant participé, pour repérer de potentielles évolutions de perception, de pratiques et de lien au collectif. Ils seront complétés par des entretiens menés avec l’animatrice du syndicat d’AOP et le conseiller technique indépendant (Etienne, 2023). Cette analyse complète permettra de confirmer ou non la pertinence de la démarche d’accompagnement.

Enfin, notre étude a été menée auprès d’un groupe d’éleveurs déjà impliqués dans un processus de réflexion collective depuis plusieurs années et qui ont bénéficié d’un accompagnement étroit, avec une animatrice et une chercheuse, pendant plus de deux ans. Ce contexte spécifique, la proximité géographique entre les fermes ou encore la familiarité des participants avec des jeux sérieux, ont pu favoriser la dynamique collective et ainsi faciliter les ajustements au cours de la démarche (Dernat et al., 2022b).

Perspectives

La méthode de suivi-évaluation-ajustement décrite ici et adaptée à ce cas d’étude n’est pas une méthode clé en main standardisée. L’appropriation de cette méthode dans d’autres contextes ne concernera pas les jeux mobilisés tels quels mais plutôt la logique et le dispositif de suivi-évaluation. L’objectif de la démarche d’accompagnement doit aussi être clairement défini au départ, avec les agriculteurs, et toujours rester au cœur de l’évaluation (Emmerich et Bockholt, 2016).

Les ajustements ne peuvent se faire sans un suivi méticuleux de la démarche, réalisé ici grâce à des outils issus de la recherche. Une simplification pour un contexte réel d’accompagnement, en dehors d’un cadre de recherche, est donc nécessaire (temps de mise en œuvre, simplification de la démarche, mobilisation d’autres jeux…) pour permettre aux praticiens de se l’approprier (Le Gal et al., 2011). L’observation continue peut notamment reposer sur la bonne connaissance préalable du contexte de terrain par l’accompagnateur (ici une chercheuse et une animatrice) et un contact étroit avec les agriculteurs. Le nombre de jeux combinés peut aussi être réduit en se concentrant sur des jeux sans modélisation, ce qui facilite leur mise en place et leur suivi-évaluation.

Les ajustements, quant à eux, dépendent fortement du contexte d’accompagnement mais aussi des ressources disponibles (temps, moyens humains, moyens financiers…) et des besoins en termes d’évaluation et d’accompagnement (objectifs d’acquisition de connaissances, de sensibilisation, de collaboration, de changements de pratiques…). Ils ne sont dans tous les cas pas prédictibles à l’avance et font appel à une forte capacité d’adaptation des animateurs et des chercheurs. Cette méthode requiert également une temporalité adaptée, permettant une visibilité de moyen terme et des sessions articulées entre elles et suffisamment espacées pour garantir leur ajustement.

La méthode d’évaluation proposée pourrait alors être remobilisée afin de concevoir à la carte et équiper des programmes d’accompagnement agricole, en ayant recours notamment à des jeux, en commençant par la définition des résultats attendus et en se concertant davantage avec les agriculteurs : quels résultats souhaitez-vous atteindre (niveau 4) ? Par quels changements de pratiques ces résultats peuvent-ils être atteints (niveau 3) ? Quels apprentissages vous manquent pour réaliser ces changements (niveau 2) ? Quelle ambiance, et quel format d’accompagnement souhaitez-vous (niveau 1) ? Plus largement, des ressources devraient être allouées à des projets d’accompagnement agricole pour rendre possible leur évaluation et leur adaptation avec des indicateurs pertinents.

Conclusion

Nous avons proposé un dispositif d’évaluation chemin faisant, systémique et multiniveaux, d’une démarche d’accompagnement d’agriculteurs, intégrant une combinaison de jeux sérieux lors de sa construction, afin de l’ajuster. Cette évaluation, qualitative et participative, s’appuie sur un modèle théorique rendu opérationnel par une articulation d’outils d’observation, dans le jeu et en continu. En complément de l’évaluation en cours d’accompagnement développée ici, une évaluation a posteriori sera réalisée pour assurer une analyse globale et rigoureuse de la mobilisation des jeux. Le modèle multiniveaux adapté ici du NWKM semble être à la fois prometteur, innovant et facilement mobilisable sur le terrain pour mener ces différentes évaluations. Cet article contribue ainsi à la recherche sur l’évaluation des jeux sérieux et donne des perspectives quant à l’outillage des acteurs de l’accompagnement agricole mobilisant des jeux, moyennant une adaptation à chaque contexte de transition agricole.

Remerciements

Nous remercions l’ensemble des agriculteurs participants au groupe Fourrages et le syndicat de l’AOP Fourme de Montbrison pour leur implication continue dans ce projet. Nous remercions également la région Auvergne-Rhône-Alpes pour le soutien financier de la thèse de doctorat de l’autrice principale via le Contrat de Plan État-Région CPER « Services rendus par l’élevage herbager dans le contexte du changement climatique–Défi Symbiose 2020 » (Interactions entre changement global, biodiversité et fonctionnement des systèmes environnementaux).

Matériel supplémentaire

Le matériel supplémentaire, constitué des 4 annexes listées ci-dessous, est accessible par ce lien : https://hal.science/hal-04846068.

Annexe 1 : Description des quatre niveaux du New World Kirkpatrick Model (NWKM) dans la littérature et de leur adaptation.

Annexe 2 : Grille d’enregistrement des résultats adaptée de Célerier et al. (2018). Exemple du jeu Lauracle.

Annexe 3 : Grille d’observation descriptive et chronologique des sessions de jeu inspirée de Hassenforder et al. (2020). Exemple du Rami Fourrager.

Annexe 4 : Grille d’observation des débriefings à chaud des sessions de jeux et exemples de debriefing cards utilisées, construites à partir des quatre niveaux du nouveau modèle de Kirkpatrick (Quach, 2019).

Déclaration éthique

Un consentement écrit a été obtenu des personnes pour la publication de toutes les images ou données potentiellement identifiables incluses dans cet article.

Références

Liste des tableaux

Liste des figures

	Fig. 1 Modèle d’évaluation de l’accompagnement par les jeux sérieux (d’après Kirkpatrick et Kirkpatrick, 2016).
Dans le texte

	Fig. 2 Résultats du suivi-ajustement chemin faisant de la démarche. La version initiale de la démarche apparaît en haut et la version finale ajustée en bas de la figure. Les outils d’observation figurent à chaque étape. Les ajustements réalisés chemin faisant sont numérotés de i à vii.
Dans le texte

	Fig. 3 Photos de sessions de jeux Lauracle à gauche (une table de 4 éleveurs, 1 chercheur-observateur et 1 animatrice) et Rami fourrager à droite (3 éleveurs participants et 2 coanimatrices) [© R. Etienne].
Dans le texte