Expérimentation de l’outil MOOCAT

Évaluation de MOOCAT Objectifs et caractéristiques à évaluer

L’objectif de cette expérimentation est d’évaluer la capacité de l’environnement de conception de scénarios pédagogique MOOCAT à exprimer et modéliser des scénarios orientés cMOOC, d’une part auprès de participants dits « novices » en scénarisation pédagogique, d’autre part auprès de personnes expertes ayant déjà une expérience significative en conception de cours en ligne ou ayant déjà participé à l’élaboration de cMOOC. À travers cette expérimentation, nous visons à discerner : (1) pour les utilisateurs non experts, si MOOCAT permet de concevoir facilement des cours cMOOC et de leur fournir le soutien nécessaire pour formaliser leurs scénarios pédagogiques ; (2) pour les experts, si MOOCAT peut fournir des solutions pour concevoir des cours connectivistes de manière simple et dynamique et si l’outil leur permet d’adapter un scénario pédagogique.  (3) Pour tous les participants, si MOOCAT soutient la conception des cours cMOOC, s’il fournit tous les éléments nécessaires pour la conception d’un cours cMOOC et s’ils sont satisfaits de l’utilisation de l’outil et de ses fonctionnalités. Afin de cibler des participants les plus diversifiés possibles et répondant à l’un des critères susmentionnés, un appel à participation a été diffusé auprès de la communauté EIAH à travers la liste de diffusion de l’ATIEF17, au réseau AUF (Agence universitaire de la Francophonie)18. Nous avons aussi envoyé des e-mails aux membres du service PRN (Pôle Ressources Numérique) 19 du Mans Université, aux membres des laboratoires LIUM (équipe IEAIH) et IRF-SIC, à tous les enseignants de l’université Bretagne Pays de la Loire (UBL) et à une liste de personnes ayant déjà participé à la réalisation d’un MOOC sur la plateforme FUN. Finalement, nous avons testé notre outil dans le cadre d’un atelier de scénarisation pédagogique auprès des étudiants M2. Ces derniers ont auparavant modélisé des situations pédagogiques et manipulé des outils de conception pédagogique au cours de leur formation (section 6.3.1). Au niveau méthodologique, nous avons défini des critères d’évaluation en nous reposant sur les composants d’utilité et d’utilisabilité proposés par Tricot et al. (2003). L’utilité désigne les objectifs qu’un artefact, utilisé par un utilisateur donné, permet d’atteindre dans des situations spécifiques (ibid.). L’utilisabilité, selon Tricot et al. (2003), désigne la possibilité d’utiliser un dispositif au niveau de son interface, sa navigation et sa cohérence avec l’objectif. Dans notre cas, nous considérons que MOOCAT : (1) est utile s’il facilite la conception d’un cours cMOOC et s’il fournit tous les éléments nécessaires pour mettre en place un cours orienté cMOOC ; (2) est utilisable s’il permet une navigation simple et facile, s’il fournit une interface de création de scénarios avec toutes les fonctionnalités pour simplifier son utilisation et s’il fournit une cohérence dans le processus de conception pédagogique. Protocole expérimental Dans cette partie, nous détaillons le protocole d’évaluation que nous avons mis en place pour évaluer l’utilité et l’utilisabilité de MOOCAT. Il comporte quatre étapes qui, après avoir été présentées, sont résumées sur la Figure 43. Figure 43 — Étapes de l’expérimentation de MOOCAT

Étape 1 : préparation Nous avons mis à la disposition des participants plusieurs documents 

— Un guide de l’utilisateur MOOCAT qui explique la philosophie de MOOCAT et décrit les fonctionnalités de l’outil ; — Une fiche d’expérimentation qui décrit les différentes étapes à effectuer durant cette évaluation. Dans la fiche d’expérimentation, nous avons proposé un scénario narratif à modéliser sur le thème de « l’information et l’éthique à l’ère numérique » (Annexe A). Nous avons évité de choisir un sujet technique ou spécifique à un domaine particulier et opté plutôt pour un sujet générique afin de cibler le plus grand nombre de participants, quel que soit leur domaine d’expertise. Nous avons proposé aux participants de concevoir un scénario cMOOC de quatre semaines. Au cours de la première partie de la phase de conception, les participants devaient décrire les deux premières semaines du cMOOC. Nous avons fourni le scénario décrivant la session d’apprentissage pour les deux premières semaines. Dans un deuxième temps, les participants devaient concevoir les troisième et quatrième semaines du cMOOC. Pour celles-ci, les participants ont bénéficié d’une plus grande liberté, car nous avons demandé à chacun de proposer son propre scénario. 

Étape 2 : conception

La deuxième étape vise à faire concevoir un scénario pédagogique par les participants en vue de la formalisation d’un scénario pédagogique d’un cours  cMOOC. Durant cette étape, les participants ont été amenés à manipuler librement la plateforme afin de tester les fonctionnalités de l’outil, et ont retranscrit le scénario fourni dans l’outil MOOCAT. Il s’agissait de tester l’outil en construisant le scénario selon les instructions fournies lors de la phase de préparation. Pour les deux premières semaines, les participants étaient invités à retranscrire un scénario déjà fourni. Pour les semaines 3 et 4 la conception été plus libre, les participants pouvaient proposer les activités qui leur paraissent les plus adéquates. Chaque participant se connecte sur la plateforme de l’outil via le lien fourni. Il était ensuite invité à créer son compte. À la fin de la phase de conception, les participants devaient sauvegarder leur scénario avant de passer à l’étape de déploiement. Ces scénarios ont été ensuite recueillis et analysés. 

Étape 3 : déploiement

Au cours de cette phase, les participants ont été amenés à utiliser le service de déploiement lié à MOOCAT pour exporter les scénarios qu’ils avaient conçus sur la plateforme OpenEDX. Pour ce faire, les participants étaient amenés à se connecter via un lien qui leur avait été fourni au début de l’expérimentation sur cette plateforme installée sur les serveurs de Le Mans Université. Les participants devaient créer leur compte sur ladite plateforme. Une fois connectés, les participants créaient un cours en renseignant uniquement le nom du cours, le nom de l’institution et un identifiant du cours. Ils retournaient ensuite sur MOOCAT afin de déployer automatiquement leur scénario.