Contact :
infos@sticef.org
|
Introduction au numéro spécial
« Évaluation dans les jeux sérieux »
Editorial
 Pierre-André CARON (Université Lille 1, CIREL), Sébastien
GEORGE (Université du Maine, LIUM), Julian ALVAREZ (Université
Lille 1, CIREL)
1. Introduction et contexte du numéro spécial
Depuis 2002, les jeux sérieux suscitent un
engouement croissant par les perspectives que l'objet promet d'offrir en termes
de prévention, de formation, d'éducation, d'apprentissage, de
thérapie, de communication, d'entraînement, de collecte de
données, etc.
Dix ans plus tard, en 2012, le premier colloque scientifique international
e-virtuoses dédié à l’étude de l’impact
du jeu sérieux est organisé sur Valenciennes. Intitulé
« Évaluer et mesurer l’impact du jeu
sérieux », ce colloque vise à aider les commanditaires,
les prescripteurs, les utilisateurs, les concepteurs et les chercheurs à
comprendre et s’approprier l’objet (Alvarez et Staccini, 2014).
Pour cela, l’approche du colloque est de sélectionner des travaux
de recherche visant à étudier le potentiel des jeux sérieux
pour la formation, la communication et la santé au sein de
différents écosystèmes. Ces derniers englobant notamment
les écoles, les entreprises, les milieux hospitaliers... L’appel
à communication qui a permis de recueillir les contributions du
présent numéro spécial STICEF fait suite à cette
dynamique qui vise à recenser les travaux de recherche destinés
à évaluer les jeux sérieux. Cependant, la notion
d’évaluation est un concept très large pouvant englober
plusieurs domaines. Dans le cadre de ce numéro spécial les aspects
retenus dans le cadre de l’évaluation concernent notamment :
- la conception de modèles impliquant l'évaluation de
l'apprenant,
- l’analyse de traces et l’élaboration
d'indicateurs,
- la scénarisation pédagogique,
- la transposition didactique des activités ou des situations
de référence,
- le suivi des activités, des apprentissages et des
compétences,
- la valorisation et validation des acquis de l'apprentissage et de
l'expérience acquise.
Pour couvrir ces différents aspects liés à
l’évaluation, l’appel à communication s’est
voulu pluridisciplinaire, ouvert aux questionnements portant sur les aspects
épistémiques, informatiques, pédagogiques ou didactiques
des jeux sérieux. Ainsi, à l’issue de l’appel à
communication, 17 articles ont fait l’objet d’une double relecture
par des chercheurs issus des domaines STIC et SHS. Le processus exigeant de
relecture-révision a permis finalement la publication des 7 articles qui
composent ce numéro spécial. Précisons que le comité
éditorial a été confronté à des
difficultés concernant la forme et le fond des articles de recherche
théorique par opposition à des articles rendant compte de
recherche empirique. Ces difficultés concernent en particulier le manque
de consensus concernant la structure de la présentation d’un
article de recherche de type théorique. À ce titre, il serait sans
doute utile de mener, pour le domaine spécifique des EIAH, une initiative
comme celle menée en sciences de l’éducation par (Raîche et Noël-Gaudreault, 2008) visant à apporter des lignes directrices pour la rédaction
d’articles de recherche théorique afin d'en faciliter
l'écriture et l’évaluation.
2. Cadres théoriques convoqués dans ce numéro
spécial
Pour Hadji, la mise en place
de l'évaluation à propos d'un objet doit être
considérée comme la confrontation de deux processus convergents et
se référant à cet objet : le premier consiste à
décrire les attentes de l'évaluateur ou des usagers
vis-à-vis de l'objet sous forme de critères ; le second
processus s'applique à décrire les faits réels
provoqués par l'objet en définissant des indicateurs permettant
d'en saisir les aspects significatifs (Hadji, 2012).
C'est de la confrontation de ces deux processus, description des attentes et
description du réel, que résulte l'évaluation.
Pour la majorité des auteurs de ce numéro spécial, cette
question des critères et des indicateurs est traitée en convoquant
un cadre théorique spécifique du-quel découle la traduction
des attentes en critères, ainsi que la définition des indicateurs
permettant de décrire la situation. Les cadres théoriques de la
motivation, de la volition de l’action conjointe en didactique, de
l'action située, la théorie de l'activité, le modèle
de la genèse instrumentale, sont ainsi tour à tour
séparément ou conjointement convoqués dans ce numéro
spécial pour expliquer la construction d'une méthodologie
permettant l'évaluation d'un jeu sérieux, du dispositif ou de la
situation dans lequel il s'inscrit. Cette pluralité des cadres de
référence mobilisés entraîne une multiplicité
des méthodologies utilisées, témoignant alors du
caractère subjectif de toute évaluation. Ces résultats
rejoignent les travaux sur l'évaluation menés par (Cardinet, 1989).
Pour l'auteur il faut abandonner l'espoir d'une évaluation absolue,
docimologique au profit d'une évaluation qui ne peut se concevoir
qu'à la première personne. Cet auteur propose quatre
critères que doit respecter une évaluation :
- non comparative,
- sans gabarit préétabli,
- descriptive
- sans jugement de valeur.
Il est intéressant de noter la similitude des travaux de Cardinet avec
ceux de Muratet, Delozanne, Viallet et Torguet présentés
dans ce recueil, ces derniers proposant de construire l'instrument
d'évaluation et l'évaluation à partir des commentaires
libres des usagers.
3. Contenu du numéro spécial
3.1. Cadres théoriques, méthodes et outils pour évaluer
les jeux sérieux
Cette première partie
montre autant l'importance, pour les auteurs de ce numéro, de ne pas
évaluer un jeu sérieux indépendamment de sa situation
d'usage que de faire mener cette évaluation par les usagers
eux-mêmes.
Une première approche de l'évaluation dans les jeux
sérieux consiste à re-censer et à articuler les cadres
théoriques mobilisables, pour façonner une mé-thodologie
permettant l'évaluation des dispositifs par les apprenants
eux-mêmes. C'est ce que proposent Heutte, Galaup, Lelardeux, Lagarrigue
et Fenouillet en montrant que les concepts clés de la motivation et
de la volition empruntés à (Csikszentmihalyi et al., 2014), (Bandura, 2007), (Hidi & Renninger, 2006), (Deci & Ryan, 1985) sont pertinents pour évaluer d’une part le déclenchement du
comportement motivant l’usage d’un jeu sérieux, d’autre
part la persistance de l’usage des jeux sérieux en contexte
éducatif. Les auteurs présentent alors l'échelle EduFlow qui appliquée à l'évaluation du jeu Mecagenius met en évidence des liens significatifs entre
l’usage du jeu, le flow et le climat de classe
(l’auto-efficacité, l’intérêt et le climat
motivationnel scolaire).
C'est cette même approche consistant à mobiliser un cadre
théorique et mé-thodologique pour évaluer l'usage d'un jeu
sérieux qui est réalisé par Galaup et Amadescot à propos du même objet Mecagenius. Si l'approche est la
même, le cadre théorique mobilisé est quant à lui
différent : il s'agit du cadre de l'action conjointe en didactique
(TACD). Le postulat posé par les auteurs est que les
phé-nomènes transpositifs ne s'arrêtent pas à l'issue
du processus de conception du jeu sérieux, mais se poursuivent en
situation et résultent d’une co-construction entre professeur et
élèves relativement aux enjeux épistémiques
cristallisés dans les mini-jeux constitutifs de l'artéfact
informatique. Dès lors, mobiliser le cadre de la TACD permet aux auteurs
de décrire et comprendre l’évolution du système
observé et de mettre en évidence les phénomènes
didactiques sous-jacents. Les résultats présentés
suggèrent ainsi une intégration contrastée de l'artefact
à la pratique usuelle des enseignants, allant d'une incorporation
à des usages didactiques très classiques jusqu’au
développement d'un rapport instrumental avec l’artefact. Les
auteurs montrent ainsi que la potentialité
« dévoluante » de ces artefacts n’est pas une
caractéristique intrinsèque et qu'elle doit être
considérée comme une propriété émergente
liée aux conditions de leurs usages in situ.
Un des écueils de l'approche utilisée par les auteurs
cités précédemment est d'évaluer le dispositif jeu
sérieux selon un cadre de référence fixe convoqué
par les chercheurs, (celui de la motivation et de la volition pour Heutte,
Galaup, Lelardeux, Lagarrigue et Fenouillet ; celui de la TACD pour Galaup et
Amadescot) au risque d'instruire ce que Barbier (1985), cité par De
Ketele (1993), appelle une structure pyramidale des pouvoirs. Un cadre de
référence externe est appliqué, par des chercheurs, pour
définir les critères et les indicateurs de l'évaluation,
différents dispositifs sont alors sensés être
évalués objectivement selon ce cadre au risque de ne pas rendre
compte de propriétés émergentes et peut être
fondamentales de l'évaluation. Contrairement à l'approche
précédente Muratet, Delozanne, Viallet et Torguet,
confrontés à la pluralité des situations d'usage,
choisissent d'évaluer autant le jeu sérieux que les situations
dans lesquelles il s'inscrit. Plutôt que de convoquer un cadre
théorique et d'en déduire les indicateurs de l'évaluation,
les auteurs proposent une analyse catégorielle des commentaires libres
des utilisateurs qui permet à la fois la définition des
critères d'évaluation par les usagers, et la catégorisation
des recommandations formulées. Les auteurs rejoignent donc, d'une part,
les auteurs précédents en affirmant que la question de
l'évaluation ne peut être tranchée indépendamment du
dispositif d’enseignement que le jeu sérieux instrumente ; mais
s'en démarquent, pour une autre part, en construisant directement les
domaines puis les critères de l'évaluation à partir des
commentaires des usagers.
3.2. Évaluation de l’apprenant-joueur (traces)
Dans la mouvance actuelle des jeux sérieux, qui débute avec America’s Army en 2002, nous recensons l’utilisation de
métriques. Dans le domaine informatique, les métriques sont un
ensemble de mesures associé à une application informatique. Par
exemple lorsqu’un jeu vidéo mesure le temps mis par le joueur pour
terminer chaque niveau de jeu, nous recensons une métrique. Il est ainsi
possible pour un formateur ou un enseignant, de suivre le parcours d’un
utilisateur de jeux sérieux et de connaître les stratégies
adoptées, les temps de réactions, les réponses
formulées, etc. Des travaux de recherche menés autour des
métriques dans le cadre des jeux sérieux sont notamment conduits
par (Carron et al., 2008).
Ces métriques constituent ainsi des traces, au sens entendu par Pierre
Rabardel, qui peuvent s’inscrire dans des travaux d’analyse de
l’activité (Rabardel, 1995).
L’année 2002 correspond à la parution du titre America’s Army produit par l’Armée étasunienne
et qui constitue le porte étendard de la mouvance actuelle des jeux
sérieux basés sur les jeux vidéo, encore appelés « Serious Video
Games »1. Ce titre fait
déjà recours à des métriques pour jauger les
utilisateurs afin d’évaluer leurs performances dans le jeu et
identifier des recrues potentielles.
Si les métriques semblent constituer une approche pertinente pour
étudier et analyser les apprentissages, les compétences ou les
savoirs d’un ou plusieurs utilisateurs, leur association à des jeux
sérieux se heurte cependant à diverses problématiques.
Ainsi, selon Djaouti, il existerait deux principales approches :
intégrer un Jeu Sérieux à un LMS (Learning Management
System) ou construire un outil d’analyse à façon pour
chaque jeu. La première approche serait simple d’utilisation mais
présenterait des limites importantes quant aux données à
enregistrer. La seconde s’affranchirait de ces limites mais serait
contrainte par les coûts élevés liés à
l’implémentation. Djaouti nous invite donc à explorer une
troisième voie, l’utilisation de « plateformes
génériques de mesures analytiques » à
l’instar de Google Analytics et Playtomic. Si cette piste
semble prometteuse, quelques limites sont néanmoins recensées
comme par exemple devoir recourir à une transformation des traces
récoltées pour les adapter aux besoins de l’analyse. Les
enjeux associés à la collecte et à
l’interprétation de ces traces sont nombreux. Dans le champ des
jeux sérieux, les travaux de Sehaba et Hussaan visent à
rendre les scénarios ludiques et pédagogiques adaptatifs. Pour ce
faire, il convient de disposer d’analyses des traces d’interaction
de qualité pour que les adaptations puissent répondre de
manière idoine aux besoins des utilisateurs. Lorsque ces mêmes
utilisateurs nécessitent de la rééducation cognitive comme
nous l’exposent Sehaba et Hussaan, il est aisé de mesurer
l’importance des enjeux associés aux métriques.
3.3. Évaluation expérimentale pour mesurer les impacts de jeux
sérieux utilisant des interactions avancées
Les chercheurs et concepteurs de jeux sérieux font de plus en plus
appel à des techniques d’interactions dites avancées. En
particulier, des travaux s’intéressent à
l’apprentissage en situation de mobilité, de collaboration, ou
encore utilisent des interactions tactiles et de la réalité mixte
(avec notamment des interfaces tangibles). Si, à première vue, les
interactions innovantes dans les jeux sérieux visent logiquement
l’amélioration des aspects interactionnels, nous pouvons nous
interroger sur leurs impacts sur les aspects pédagogiques. Ainsi, la
question de leur influence sur les apprentissages demeure ouverte, peu de
travaux ayant abordé ce point jusqu’alors. Dans ce numéro
spécial, deux articles abordent cette question de
l’évaluation de l’impact des IHM innovantes. Dans ces deux
articles, les travaux présentés relèvent d’une
recherche-action visant ainsi à « transformer la
réalité et produire des connaissances concernant ces
transformations » (Hugon et Seibel, 1988).
Le premier article, de Kubicki, Pasco et Arnaud, présente une
évaluation de l’utilisation en cours préparatoire d’un
jeu sérieux sur table interactive avec objets tangibles. Le travail
présenté est une étude comparative ayant pour objectif de
montrer les impacts d’une table interactive sur l’activité
des élèves. Les résultats indiquent une différence
significative sur le temps passé sur la tâche, les
élèves passant davantage de temps lors du jeu sur table
interactive. La table interactive semble ainsi offrir plus
d’opportunités aux élèves de s’engager
activement dans la tâche et d’apprendre de la résolution du
problème posé. Les résultats montrent aussi que cette
évolution n’est pas identique pour tous les élèves et
qu’il faut ainsi veiller à accompagner la mise en œuvre de ces
technologies innovantes pour qu’elles profitent à tous. Dans le
deuxième article, écrit par George, Michel, Serna et
Bisognin, il s’agit d’évaluer un jeu sérieux
utilisant de la réalité mixte et destiné à un public
d’élèves-ingénieurs. L’objectif de ce jeu
sérieux est de former aux principes d’une méthode de
génie industriel (le Lean Management) au travers d’une situation
fondée sur la simulation de postes de production. Cette simulation
utilise plusieurs types de dispositifs numériques : des ordinateurs, des
tablettes et des tables interactives sur lesquels des actions sont
réalisées à l’aide d’interfaces tangibles. Une
étude comparative a été effectuée pour mesurer les
impacts par rapport à une version non informatisée du même
jeu sérieux. Cette comparaison montre que le jeu sérieux en
réalité mixte a un impact positif sur l’apprentissage, en
particulier concernant les concepts théoriques de la formation. Dans les
deux articles présentés, les évaluations portent sur des
effectifs réduits. Cela s’explique par la difficulté
à mettre en place et à analyser ce type d’activité
innovante. Les résultats révèlent néanmoins des
tendances sur lesquels d’autres concepteurs peuvent s’appuyer.
4. Conclusion et perspectives
En traduisant le terme « Serious Game »
dans la langue de Molière par « jeu sérieux »,
nous introduisons la double approche du jeu. En effet, en français,
« jeu », peut se référer à la fois
à l’artefact et à l’activité. Ce n’est
pas le cas de « Game » et « Serious
Game » qui en anglais désignent uniquement l’artefact.
Dès lors, s’inscrire dans l’évaluation des
« jeux sérieux » implique la possibilité de
s’inscrire dans différentes disciplines scientifiques voire
d’opter pour des approches pluridisciplinaires pour conduire de tels
travaux. C’est le positionnement choisi pour les colloques scientifiques
des e-virtuoses et l’appel à communication de ce numéro
spécial de STICEF. L’objectif est ainsi de nourrir une
réflexion basée sur un partage de paradigmes issus de
différentes approches disciplinaires telles que, de manière non
exclusive, de la psychologie, de la sociologie, de l’informatique, des
neurosciences, des arts, des sciences de l’éducation, de
l’information et de la communication, de gestion,... L’idée
est d’offrir un spectre large pour sonder au mieux un objet mais aussi une
activité, dont l’impact peut être pluriel et relatif. Pour
donner corps à cette transversalité scientifique, dans le cadre
des e-virtuoses, il a été mis en place un partenariat entre
plusieurs revues scientifiques pour représenter différentes
disciplines : Interfaces Numériques (art) (Lavigne, 2014),
RIHM (sciences de l’information et de la communication) (Useille et Alvarez, 2013),
SIM (sciences de gestion) (Michel et Mc Namara, 2014) et bien entendu STICEF (informatique et sciences de l’éducation).
Si la question de l’évaluation n’est pas explicitement
posée par ces revues, elles interrogent et questionnent néanmoins
l’objet selon des approches propres. Par exemple, la revue Interface
Numérique, coordonnée par Michel Lavigne (Lavigne, 2014),
questionne notamment la notion de jeu et des liens qui peuvent être
établis avec l’aspect « sérieux ».
Comprendre ces liens nourrit implicitement les travaux en lien avec la question
de l’évaluation. Par exemple utiliser un jeu sérieux pour
apprendre implique l’évaluation des apprentissages mais
également des compétences à jouer. Il convient donc de
comprendre les liens entre la notion de jeu et les aspects sérieux pour
construire des modèles idoines visant à évaluer ces
différents aspects. Un tel constat nous invite à considérer
que le chantier que nous ouvrons avec la question de l’évaluation
dans les jeux sérieux est vaste et complexe. Nous commençons
à peine son exploration. Dans ce contexte, le recueil des 7 articles qui
composent ce numéro spécial STICEF constitue un travail pionnier
qu’il conviendra sans nul doute de poursuivre et d’enrichir.
1 Vocable proposé par les
organisateurs de l’exposition « Jeux Vidéo,
l’Expo », 22 Octobre 2013 – 24 Août 2014,
Cité des Sciences, Paris : Disponible sur Internet
BIBLIOGRAPHIE
ALVAREZ J., STACCINI P. (2014). Actes de conférences colloques
scientifiques internationaux e-VIRTUOSES 2012/2013 – SEGAMED 2012/2013,
Valenciennes, France : CCI Grand Hainaut. Disponible sur Internet.
BANDURA A. (2007). Auto-efficacité : le
sentiment d’efficacité personnelle. Bruxelles: De Boeck.
BARBIER J.M. (1985). L'évaluation en formation,
Paris, PUF.
CARDINET J. (1989). Évaluer sans juger. Revue
Française de Pédagogie, 41–52.
CARRON, T., MARTY, J.-C., HERAUD J.-M. (2008). Teaching
with Game Based Learning Management Systems: Exploring and observing a
pedagogical dungeon. Simulation & Gaming Special issue on eGames and
Adaptive eLearning. A practical approach. Vol. 39, No. 3, p. 353-378.
CSIKSZENTMIHALYI M., ABUHAMDEH S., NAKAMURA J. (2014).
Flow. Flow and the Foundations of Positive Psychology. Springer, p.
227-238. Disponible sur Internet.
DECI, E. L., RYAN, R. M. (1985). Intrinsic
motivation and self-determination in human behavior. Springer Science &
Business Media. Disponible sur Internet.
HADJI, C. (2012). Faut-il avoir peur de
l’évaluation? De Boeck Bruxelles. Disponible sur Internet.
HIDI, S., RENNINGER, K. A. (2006). The four-phase model
of interest development. Educational Psychologist, 41(2), p.
111–127.
HUGON M-A., SEIBEL C., (1988). Recherches
impliquées, Recherches action : Le cas de l'éducation, Belgique,
De Boeck Université.
KETELE, J.-M. de. (1993). L’évaluation
conjuguée en paradigmes. Revue Française de
Pédagogie, 103(1), p.
59–80. Disponible sur Internet.
LAVIGNE M. (2014). Des serious games à la gamification : approches
critiques des disséminations vidéoludiques – Introduction.
Paris, France : Lavoisier. Disponible sur Internet.
MICHEL H., Mc Namara P. (2014). Serious Games :
Faites vos jeux ! – Revue Système d’Information et
Management, Vol 19, No 3, Montpellier, France : IAE School of Management
Montpellier University. Disponible sur Internet.
RABARDEL P. (1995). Les hommes et les technologies, une
approche cognitives des instruments contemporains. Paris, France : Armand
Colin.
RAÎCHE G., NOËL-GAUDREAULT M. (2008). Article
de recherche théorique et article de recherche empirique :
particularités », Revue des sciences de l'éducation, vol. 34,
n° 2, 2008, p. 485-490. Disponible sur Internet.
USEILLE P., ALVAREZ J. (2013). Editorial, Revue des
Interactions Humaines Médiatisées, Vol. 14 n° 1, 2013,
France, Paris : Europia, Disponible sur Internet.
|
Sciences et Technologies
Sommaire![[Retour en haut de cette page]](../../img/fleche_haut.gif){kind=small}
Haut de la page