Technique d’évaluation pour l’apprentissage de l’algorithmique

Environnements Informatiques pour l’Apprentissage Humain (EIAH) et Evaluation des apprenants

Historiquement, les outils informatiques utilisés dans le cadre scolaire ou de la formation ont toujours intégré des moyens d’évaluer les apprenants. Les Environnements Informatiques pour l’apprentissage Humain (EIAH) (Tchounikine, 2002) ne dérogent pas à cette règle. L’évaluation joue un rôle particulier en EIAH. Selon Charles (Juwah, 2003), chercheur dans le domaine des EIAH, l’évaluation doit : – Etre motivante pour l’apprenant ; – Encourager une activité d’apprentissage soutenue ; – Contribuer à la progression de l’apprenant ; – Etre faible en coût humain et facilement maintenable. Son point de vue est que l’évaluation joue un rôle primordial dans l’activité pédagogique, non seulement comme le moyen de vérifier les acquisitions mais aussi comme le moyen de motiver ces apprentissages et d’inciter les élèves à progresser. C’est la volonté d’obtenir de bons résultats qui doit inciter l’élève à apprendre et c’est la satisfaction qu’il éprouve à réussir qui doit lui donner l’envie de persévérer et d‟aller plus loin. L‟enseignant n‟est plus seulement confronté à la nécessité de comprendre ce qui fait obstacle à la réussite de ses élèves mais il peut aussi, lorsqu‟il utilise certains outils informatiques, se servir de l‟évaluation comme un « moteur » pour les apprentissages (Dintilhac& Rac, 2005), l‟évaluation devenant un moyen pédagogique. CommeditPapert, « It was hard but it was fun » (Jaillet, 2003). La dimension ludique est exploitée, au risque du consumérisme et de l‟abandon des objectifs pédagogiques. Les études réalisées par exemple sur l‟outil TDmaths(Dinet et Rouet, 2002), (Dinet et Rouet, 2003) montrent que les apprenants apprécient l‟aspect ludique, le fait par exemple de gagner des récompenses lorsqu‟ils réussissent une tâche (les bons points de notre enfance). Pourtant, les enseignants utilisent assez peu les scores réalisés par les élèves pour noter leurs compétences, comme s‟ils ne prenaient pas ces évaluations au sérieux (Dinet et Rouet, 2002), (Dinet et Rouet, 2003). Les méthodes de calcul des scores sont bien souvent opaques et pas toujours adaptées aux besoins de l‟enseignant. Les pratiques d‟évaluation en EIAH sont cependant plus variées qu‟il n‟y paraît. Dans ce chapitre, nous tentons de présenter et commentons une vue exhaustive de ces pratiques. Chapitre II : Environnements Informatiques pour l’Apprentissage Humain (EIAH) et Evaluation des apprenants 

Les pratiques d’évaluation

Pour mener les nécessaires évaluations (Dintilhac et Rac, 2005) liées à ses enseignements, l‟enseignant dispose de plusieurs types d‟évaluation : – l‟évaluation pronostique ; – l‟évaluation formative ; – l‟évaluation formatrice ; – l‟évaluation diagnostique ; – l‟évaluation sommative. Sont absentes de cette typologie les évaluations normatives (Hadji, 1990) et critériées (Hadji, 1997). L‟évaluation normative consiste à comparer les résultats d‟un apprenant par rapport à ceux d‟autres apprenants. En outre, nous pensons que tout type d‟évaluation repose sur des critères, explicites ou non. Les évaluations normatives et critériées sont donc transversales aux cinq autres présentées ici. II.1. L’évaluation pronostique L‟évaluation pronostique « fonde des décisions de sélection ou d‟orientation en fonction de l‟aptitude présumée à suivre un nouveau cursus, par exemple telle filière du secondaire ; elle se situe en amont d‟un cursus et sous-tend un choix » (Perrnoud, 2001). L‟évaluation pronostique permet d‟évaluer la capacité d‟un apprenant à commencer un apprentissage, un cycle d‟étude ou à exercer une profession. C‟est une évaluation en amont d‟une réalisation ou d‟un apprentissage. II.2. L’évaluation formative L‟évaluation formative est une « évaluation dont l‟ambition est de contribuer à la formation » (Hadji, 1990). Dans ce contexte, elle a pour but de réguler l‟enseignement. L‟évaluation fournit des informations permettant à l‟enseignant d‟adapter son enseignement aux particularités de l‟apprenant, elle entre dans le cadre d‟un enseignement différencié (Allal, Cardinet et Perrnoud, 1979). Comme l‟explique P. Perrenoud (1997), « toute différenciation appelle une évaluation formative ». Pédagogie différenciée et évaluation formative sont intimement liées. L‟évaluation formative joue le rôle d‟une « discrimination positive » qui vise à emmener chaque apprenant, en tenant compte de ses différences, à un  niveau de connaissances. La pédagogie différenciée s‟inscrit dans un processus égalitaire d‟acquisition d‟un savoir. En ce sens, cette pédagogie et l‟évaluation formative qui l‟accompagne ont du mal à faire leur place dans l‟enseignement scolaire encore habitué à une pédagogie élitiste qui vise à sélectionner les élèves. Contrairement aux autres évaluations, l‟évaluation formative ne se contente pas d‟évaluer les productions des élèves mais aussi les situations actives permettant de comprendre la démarche des apprenants, leurs rapports aux savoirs, leurs capacités de métacognition, etc. (Perrnoud, 1997). 

L’évaluation formatrice

C‟est une forme particulière d‟évaluation formative. Selon (Bonniol, 1986), l‟évaluation formative s‟inscrit dans une visée de régulation de l‟apprentissage par l‟enseignant tandis que dans l‟évaluation formatrice, la régulation est assurée par l‟apprenant. En ce sens, l‟activité d‟auto-évaluation, qu‟elle soit individuelle, mutuelle ou collective, est une évaluation formatrice. L‟auto-évaluation est une « évaluation interne conduite par le sujet de sa propre action et de ce qu‟elle produit. C‟est un processus d‟altération de son référentiel d‟action au cours de confrontations entre son propre référentiel et celui ou ceux d‟autrui » (Campanale, 1997). L‟auto-évaluation ne peut donc pas être contrainte, elle est tributaire du bon vouloir de l‟évalué. II.4. L’évaluation diagnostique L‟évaluation formative s‟appuie en partie sur l‟évaluation diagnostique. L‟évaluation diagnostique permet d‟évaluer un niveau de compétence bien souvent juste avant une nouvelle phase d‟apprentissage. Dans le cadre d‟une évaluation formative, ce diagnostic permet la remédiation et la mise en œuvre d‟une pédagogie différenciée. La notion de compétence abordée ici est récurrente dans la littérature sur l‟évaluation. Selon Chomsky (1965), la compétence en linguistique désigne le système de règles intériorisées qui permet de comprendre et de produire un nombre infini de phrases inédites. Tandis que la performance désigne la manifestation de la compétence des locuteurs et réfère à la diversité des actes de langage et des contextes d‟énonciation et de communication. Ainsi, la performance peut être considérée comme la mise en application, en pratique d‟une compétence. C‟est donc par la performance qu‟on évalue la compétence de l‟apprenant.  En sciences de l‟éducation, une compétence est souvent vue sous l‟angle d‟un ensemble de savoir-faire conceptualisés (Malglaive, 1990), (vergnaud, 1995). II.5. L’évaluation sommative C‟est l‟ »évaluation par laquelle on fait un inventaire des compétences acquises, ou un bilan, après une séquence de formation d‟une durée plus ou moins longue » (Hadji, 1990).L‟évaluation met donc l‟accent sur les performances, elle contrôle les connaissances. Elle est en opposition avec l‟évaluation formative, elle ne régule pas l‟apprentissage, elle le contrôle. L‟évaluation sommative peut prendre la forme d‟examens périodiques qui valident un apprentissage. Elle conduit à l‟obtention d‟une note qui sanctionne une activité d‟apprentissage afin d‟établir un classement, sélectionner les apprenants ou certifier leur niveau. En mettant l‟accent sur les performances, l‟évaluation sommative s‟intéresse essentiellement aux productions réalisées par les apprenants (Campale, 2001). III. Pratiques d’évaluation en EIAH L‟évaluation sommative est la plus pratiquée, compte tenu de la facilité de sa mise en œuvre. Elle repose bien souvent sur des questionnaires à choix multiples ou fermés relativement faciles à évaluer automatiquement. Les systèmes de tests adaptatifs (CAT : Computer Adaptive Test) (Green, Bock, Humphreys et al, 1984) supportent ce type d‟évaluation et permettent d‟envisager leur usage dans le contexte d‟une évaluation pronostique. L‟évaluation diagnostique a fait l‟objet de recherches bien connues en France, avec entre autres le logiciel Pépite (Delozanne et Grugeon, 2004). Contrairement à l‟évaluation sommative ou pronostique rencontrée dans les CAT, l‟évaluation diagnostique de Pépite permet d‟obtenir un bilan de compétences de l‟apprenant, et non un simple score. L‟évaluation sommative qui a pour mission de certifier les connaissances de l‟apprenant et l‟évaluation diagnostique peuvent être associée. Dans la classe, l‟enseignant fait souvent appel aux deux, l‟évaluation diagnostic permettant à l‟enseignant de réguler l‟apprentissage. Certains EIAH, tels que TDmaths essaient d‟intégrer ces deux types d‟évaluation. Toujours dans un souci de régulation des apprentissages, l‟évaluation formatrice est aussi rencontrée en EIAH. L‟auto-évaluation avec le logiciel GenEval (David, 2003) et l‟évaluation par pairs ou co-évaluation avec des systèmes tels que OASYS (Bhalerao et Ward, 2001), constituent les deux formes les plus connues. L‟évaluation formatrice est souvent utilisée lorsque l‟évaluation n‟est pas automatisable (productions libres des apprenants) (Maor, 1998), (Juwah, 2003). L‟évaluation formative est présente sous l‟angle de l‟assistance à la régulation des activités par l‟enseignant. L‟objectif est alors de fournir des indicateurs à l‟enseignant lui permettant de mener des évaluations formatives en relation avec une activité d‟apprentissage. Ces dernières années, de nombreux systèmes de « monitoring » de l‟activité pédagogique sont apparus, tels que FORMID SUIVI (Gueraud, Adam, Perin et al, 2005), GISMO (Mazza et Milani, 2005), mais aussi Aplusix (Sander, Nicaud, chachoua et Croset, 2005) qui enregistre la totalité des actions des apprenants. D‟autres évaluations connexes pouvant être utilisées dans une démarche formative ou diagnostique existent en EIAH. C‟est le cas de l‟évaluation de la participation et de l‟évaluation par portfolio. L‟évaluation de la participation s‟appuie généralement sur des outils de communications qu‟il s‟agisse de forums (S.Fujitania, T.Mochiduki ,Y.Isshiki et al, 2003), (Mochizuki, Fujitani, Hisamatsu et al, 2004) (Bratitsis et Dimitracopoulou, 2005)ou de chats (Georgr, 2001). L‟évaluation par portfolio permet d‟évaluer la progression de l‟apprenant dans ses apprentissages (Ministère de l‟Education du Québec, 2002), (Eyssautier et Bavay, 2004). Dans la suite, nous allons détailler chaque type d‟évaluation en EIAH en l‟illustrant par un exemple.

L’évaluation sommative et pronostique

L‟évaluation sommative est souvent menée dans des environnements d‟apprentissage basés sur des banques de questionnaires à choix multiples (QCM). Chaque questionnaire est organisé en parcours et sanctionne l‟apprenant par une note finale. Le test du TOEFL qui permet d‟évaluer le niveau d‟anglais d‟une personne étrangère est certainement le plus connu. Chapitre II : Environnements Informatiques pour l’Apprentissage Humain (EIAH) et Evaluation des apprenants 36 Ce test fait partie de ce qu‟on appelle les tests adaptatifs par ordinateurs ou CAT pour « Computer Adaptive Test ». Ces tests permettent de certifier des connaissances de base (Biggs, 1999). Outre une évaluation sommative, un CAT peut aussi offrir une évaluation pronostique comme le test du GRE qui conditionne l‟accès aux formations universitaires par les bacheliers aux États-Unis. Les tests du TOEFL et du GRE reposent sur ce système. Ils sont administrés par le service des tests éducatifs, qui est une organisation privée à but non lucratif travaillant en étroite collaboration avec les services d‟éducation américains. Le principe de base d‟un CAT est simple. Un élève se place seul devant un ordinateur et répond à une liste de questionnaires à choix multiples. Pour chaque question, si la réponse est correcte, la question suivante sera un peu plus difficile. Dans le cas contraire, la question suivante sera un peu plus facile (Auger et Séguin, 1992). Il en va ainsi tout au long du test, ce qui permet au logiciel de déterminer le niveau du candidat et de lui attribuer un score. Les systèmes de CAT s‟appuient sur le modèle de la théorie de réponse aux items (Item Response Theory) (Lord, 1980). Ce modèle guide le concepteur dans la construction d‟un système de CAT. Le but de ces modèles est d‟optimiser la cohérence entre les scores obtenus et les réelles compétences de l‟évalué. III.1.1. L’évaluation dans les CAT Dans un CAT, on évalue des réponses à un QCM. A chaque question, la réponse est juste ou fausse, c‟est une notation binaire qui conduit à une note finale après évaluation de la dernière réponse. Plus le nombre de questions est important plus la note finale est précise. L‟évaluation globale menée par un CAT est sommative et individuelle. Elle appartient au registre du « testing ». Un CAT permet de certifier un niveau de compétences, que ce soit en anglais pour le TOEFL ou sur les connaissances pré-universitaires pour le GRE.