Comment créer des évaluations automatiques grâce à ChatGPT et Moodle?

Préambule

Objectifs de l’article

Si vous cherchez à créer facilement des évaluations automatiques dans Moodle grâce à ChatGPT, vous êtes au bon endroit.

Comme vous vous en doutez, vous aurez besoin de Moodle pour pouvoir suivre pleinement ce tutoriel pas à pas. Si ce n’est pas le cas, ne partez pas ! La cellule Technopédia peut former les membres du CPEONS à cette solution (voir notre catalogue de formations) et mettre à disposition des espaces de cours sur une plateforme Moodle de test. En plus, vous pourrez toujours adapter une partie de ce tutoriel à votre situation particulière et notamment les trucs et astuces que l’on va vous montrer avec ChatGPT.

Certains lecteur·rice·s a contrario n’iront sans doute pas beaucoup plus loin qu’ici car ils ou elles ne voient pas l’intérêt d’utiliser l’intelligence artificielle dans leurs pratiques pédagogiques.

Si vous continuez la lecture, c’est que vous n’êtes pas de ceux là et que vous concevez totalement que ces outils peuvent offrir de réelles opportunités !

Le but de ce billet cependant n’est pas de vous convaincre d’utiliser absolument tel ou tel modèle d’intelligence artificielle ni telle ou telle solution technologique mais de vous montrer des cas usages qui peuvent être intéressants et impacter durablement votre manière d’enseigner.

Défis de l’hybridation

Nous ne minimiserons en outre pas les écueils liés à la mise en place de tels dispositifs et nous essaierons encore moins de vous rallier à notre thèse que ces nouvelles technologies peuvent faciliter l’hybridation, au moins partielle, de nos offres d’enseignement.

Cette hybridation que l’on appele de nos voeux est rendue d’autant plus nécessaire que ces dernières années ont vu l’arrivée de plateformes en ligne sur le terrain de la formation continue pour adultes avec des propositions très qualitatives. Que ce soit Edx, Coursera, Udemy, Skillshare et même YouTube, dans une moindre mesure, ces plateformes doivent nous amener à repenser notre modèle. Ceci est d’autant plus vrai que d’autres opérateurs de formation en présentiel se sont parfois positionnés sur le même créneau que le nôtre avec des moyens parfois plus importants.

Des gens remplissent des formulaires d'évaluation avec de drôles de machines.
Crédit : réalisé avec Midjourney par Monsieur Nerd pour Technopédia

Créer des quiz ou des tests : un intérêt pédagogique ?

De nombreux auteurs (Yang et al., 2021; Milton et Landon, 2019; Roediger & Karpicke, 2006) ont montré les bienfaits de proposer aux apprenants des évaluations régulières sous forme de quiz et autres QCM (questions à choix multiples).

Ces évaluations permettraient, en effet, aux étudiants :

  • de mobiliser leurs connaissances de manière active ;
  • de s’ajuster, grâce aux rétroactions ou feedbacks immédiats ;
  • d’augmenter leur rétention des informations transmises ;
  • d’améliorer leurs apprentissages.

Créer des quiz nécessite malheureusement un investissement en temps conséquent, sans parler de l’énergie qu’il faut déployer pour assurer:

  • leur passation ;
  • leur correction ;
  • des rétroactions pertinentes ;
  • des aménagements des parcours d’apprentissage, en fonction des résultats des apprenants.

Avec l’avènement des nouvelles technologiques, les tests qui se déroulaient auparavant sous format papier en présentiel ont pu être organisés de manière électronique, voire à distance. Ce qui a comme avantage, le fait de pouvoir automatiser la plupart des tâches décrites plus haut.

Cette automatisation nécessite cependant, tant pour les enseignant·e·s que les étudiant·e·s, de pouvoir utiliser un ordinateur de manière effective. Utilisation qui se heurte souvent à des freins et des difficultés, que ce soit en promotion sociale ou dans d’autres niveaux d’enseignement.

Des individus portant de drôles de casques reliés par des fils passent un test
Crédit : réalisé avec Midjourney par Monsieur Nerd pour Technopédia

Fracture numérique

Définition de la fracture numérique

Selon Brotcorne, Damhuis, Laurent, Valenduc & Vendramin (2010), la fracture numérique possède plusieurs dimensions et doit être comprise comme la manifestation des inégalités quant à:

  • l’accès aux outils numériques ;
  • l’acquisition des compétences pour mettre en œuvre ces outils ;
  • l’usage qui est fait de ces technologies en termes de consommation des services et de l’information en lignes.

Si les pouvoirs publics minorent souvent la réalité de la fracture numérique, que ce soit lors de la crise sanitaire ou encore maintenant, en imposant, parfois en dépit du bon sens, l’utilisation de l’ordinateur dans les pratiques d’enseignement, il faut bien admettre que malgré les décrochages, les apprentissages déficients et les résistances au sein de la communauté pédagogique, l’implémentation de la technologie et de l’hybridation doit être favorisée, ne fusse que parce notre société devient elle-même de plus en plus technologique.

L’idée de cet article n’est donc pas de faire fi des spécificités de l’Enseignement de promotion sociale qui s’adresse par nature à des franges plus fragilisées de la population mais d’encadrer la pratique des tests automatisés en considérant quelques balises.

En effet, la réalisation et la passation d’un test sur ordinateur constitue encore actuellement, pour beaucoup, un véritable parcours de combattant.

La fracture numérique en Wallonie et à Bruxelles

En Wallonie, la fracture numérique est une réalité. Ainsi 4% des ménages n’ont aucun terminal (ni smartphone, ni pc, ni tablette) au sein de leur habitation et si 94% des ménages Wallons possèdent un accès à internet (Digitale Wallonia, 2021), cela ne veut pas dire que leur plan tarifaire soit suffisant, ni qu’ils aient un matériel informatique adapté, ni qu’ils aient encore les compétences idoines ou que leurs usages de la technologie soient réellement adéquats dans une perspective pédagogique.

Par ailleurs, selon l’Observatoire de la Santé et du Social de Bruxelles-Capitale (2021), la situation n’est pas plus reluisante en Région Bruxelles-Capitale, puisque “33 % des parents ayant des enfants en âge scolaire estimaient que ces derniers étaient dans l’impossibilité de suivre les cours en ligne durant le confinement, dont un tiers pour des raisons directement liées à la disposition d’un ordinateur et/ou d’internet dans le ménage”.

Enfin, de par notre expérience de technopédagogue au sein du CPEONS, nous avons pu constater, dans certains cas, que les salles informatiques et les connexions internet de certains établissements étaient désuètes et ne pouvaient pas s’adapter aux contraintes imposées par la création et la passation de tests automatisés.

À qui destiner les évaluations automatiques ?

Il faudrait donc veiller à ce que les processus d’évaluation automatiques soient réservés, en priorité, aux sections dans lesquelles l’utilisation de l’ordinateur et d’internet est sous-entendue ou requise, ou au sein d’établissements ayant pris leur disposition afin de fournir à l’ensemble de leur communauté un accès à du matériel décent et mis à jour, et à des formations appropriées.

Nous pensons à cet égard que notre Cellule Technopédia a un énorme rôle à jouer en tant qu’acteur de formation auprès des chargés de cours, pour autant que son action puisse s’inscrire dans la durée.

Il ne faudrait pas cependant oublier les apprenants eux-mêmes qui semblent être un peu les oubliés des dispositifs européens, communautaires ou du réseau. Or, il est plus que nécessaire de mener à bien des formation auprès de ce public car, il ne faut pas se leurrer, les dotations horaires au sein des établissements ne permettent pas de mettre en œuvre de telles actions.

Pile d'ordinateurs obsolètes et à moitié détruits.
Crédit : réalisé avec Midjourney par Monsieur Nerd pour Technopédia

Automatiser les tests

Comme nous l’avons déjà mentionné, le but de cet article est de vous montrer comment il est possible d’automatiser des tests grâce au numérique.

Nous essaierons, dans les sections suivantes, de décrire pas à pas et du mieux possible les différentes étapes nécessaire à la réalisation d’un questionnaire automatique. Nous utiliserons une solution mais il y en plein d’autres, l’idée n’est pas d’être exhaustif mais de vous inspirer.

Comme fil conducteur, nous avons choisi de créer un test de positionnement automatique en français. N’hésitez pas à vous approprier les exemples que nous allons vous donner en les adaptant à la matière que vous enseignez.

Notez que nous ne sommes pas professeur en langue et qu’il est donc possible que des erreurs se soient glissées dans le choix et la pertinence des questions. Veuillez donc faire preuve de mansuétude à notre égard si vous voyez des imprécisions dans ce texte.

N’hésitez pas néanmoins à nous en faire part ni à commenter cet article en proposant d’autres solutions et d’autres manières de faire. L’idée de notre Cellule Technopédia est de partager les bonnes pratiques émergentes et de ne surtout pas imposer des façons de faire figées.

Prescrits pédagogiques

Afin de construire des tests pertinents, il est bon de s’appuyer sur les prescrits pédagogiques.

Dans le cas des tests de langues, il y a, à notre disposition, les dossiers pédagogiques des différentes sections et le cadre européen commun de référence pour les langues (CECRL).

Par exemple, en ce qui concerne l’Unité d’enseignement “Formation Générale : Expression Orale et Écrite en Français”, le dossier pédagogique 041701U11D1 stipule que l’apprenant·e est sensé·e pouvoir, au préalable à son entrée dans la formation, “lire et comprendre un message simple, lié à la vie quotidienne” et “répondre à des questions de compréhension pour (…) retrouver des informations explicites”. Par ailleurs, le CECRL précise que l’apprenant maîtrisant le niveau A1 (débutant), en compréhension à l’écrit doit “comprendre des textes très courts et très simples, phrase par phrase, en relevant des noms, des mots familiers et des expressions très élémentaires et en relisant autant de fois que nécessaire”.

Nous proposons donc que les questions que nous allons générer aient trait aux expressions courantes de la langue française.

Individus portant de drôles de casques jaunes et remplissant des évaluations
Crédit : réalisé avec Midjourney par Monsieur Nerd pour Technopédia

ChatGPT

La première application que nous allons utiliser pour réaliser notre questionnaire est ChatGPT.

ChatGPT est un modèle d’intelligence artificielle (IA) appelé agent conversationnel qui permet de générer, comme son nom l’indique, des conversations grâce à des requêtes (”prompts”) que nous devons lui adresser.

Il existe des tas de systèmes similaires concurrents (Bard pour Google, HugginChat, etc.) mais la spécificité de ChatGPT est que OpenAI, la société derrière ce projet, a proposé sa beta en accès libre, au public, dès novembre 2022 et que ce modèle d’intelligence artificielle est donc particulièrement populaire.

Pour commencer, nous allons nous rendre sur le site de ChatGPT et y créer un compte. Si vous ne l’avez pas encore fait, c’est le moment.

Une fois connecté, vous verrez une fenêtre dans laquelle vous pouvez interagir avec ChatGPT.

Capture d'écran de la fenêtre de chat de ChatGPT
Voilà la fenêtre qui s’affiche quand on a jamais conversé avec ChatGPT. Il y a deux zones importantes. La zone de prompt proprement dite et le bouton “New chat” pour créer une nouvelle conversation.

Avant de proposer une requête, il faut s’assurer de respecter une certaine structure afin que ChatGPT puisse produire du contenu pertinent.

Pour réaliser un bon prompt, il faudra veiller à :

  • donner un contexte adéquat ;
  • fournir un rôle à ChatGPT ;
  • clarifier l’action qu’il doit effectuer ;
  • développer l’objectif auquel il doit répondre ;
  • définir la cible du message ;
  • décrire le type de contenu à produire, la longueur du texte, et le style souhaité.

Précisons cependant que ChatGPT n’est pas infaillible et il vous faudra souvent lui préciser là où il s’est trompé. Les rétroactions sont importantes pour obtenir des résultats adéquats.

ChatGPT et le format GIFT

Comme nous l’avons précisé plus haut, il faudra, la plupart du temps, asséner à ChatGPT plusieurs prompts pour obtenir ce que l’on souhaite. Par ailleurs, de manière étonnante, ce n’est pas parce que nous lui fournissons plusieurs fois la même requête que nous allons obtenir le même résultat. C’est aussi cela la beauté de ChatGPT… le chaos.

Dans ce chapitre, nous allons essayer de vous expliquer comment générer un prompt adéquat afin de produire un questionnaire de questions à choix multiples (à réponse unique) structuré d’une manière particulière à l’aide du format GIFT..

Le format GIFT est un format textuel spécifique qui permet d’utiliser “un éditeur de texte pour écrire des questions à choix multiple, vrai ou faux, à réponse courte, à mot manquant, et à réponse numérique dans un format simple pouvant être importé” (Moodle.org, 2023) dans Moodle.

Lorsque l’on observe la documentation Moodle sur le format GIFT, on constate que les questions à choix multiples sont libellées d’une certaine manière. Nous allons devoir, dans notre prompt, préciser la manière dont elles sont libellées afin que ChatGPT puisse générer des questions en respectant la bonne syntaxe.

Le prompt pour créer un QCM de questions à réponse unique

Dans cette section, nous allons vous montrer pas à pas comment procéder à la création d’un QCM de questions à réponse unique grâce à un prompt dans ChatGPT.

L’ensemble de notre requête et la réponse de ChatGPT correspondante sera disponible un peu plus loin.

Structure de la requête

Dans cette requête, vous constaterez la présence de plusieurs éléments nécessaires:

  • le contexte qui est celui de la création d’un test de positionnement en français ;
  • le rôle joué par ChatGPT, celui d’un enseignant en français avec au moins 20 d’expérience;
  • les actions qu’il doit effectuer et les objectifs auxquels il doit répondre, à savoir réaliser une liste de 5 expressions françaises imagées et créer à partir de cette liste un questionnaire à choix multiples au format GIFT ;
  • la cible du questionnaire constituée de nouveaux étudiants en français ;
  • le type de contenu à produire, la longueur du texte, et le style souhaité. Un exemple de syntaxe GIFT tiré de la documentation Moodle lui est fournit, accompagnée de précisions quant à l’utilisation des différents signes =,~, #, { et } ;
  • l’usage de séparateurs ### qui permettent de séparer les blocs afin de faciliter la tâche de ChatGPT et lui permettre de séparer les consignes des éléments informatifs.

En résumé, pour obtenir des résultats probants dans ChatGPT, il faut :

  • être le plus précis possible ;
  • utiliser des termes univoques en évitant toute ambiguïté ;
  • être le plus explicite possible et spécifier l’ensemble des étapes.

Dès lors, afin d’éviter toute déconfiture, il est important que vous considériez ChatGPT comme une entité omnisciente, ne rechignant pas au travail mais qui répond à des demandes précises sans grande originalité.

En réalité, cette “intelligence” annone des phrases parfois stupéfiantes mais elle ne les comprend malheureusement pas. Elle ne fait que pondérer statistiquement des mots entre eux pour prédire le mot suivant.

La requête proprement dite

Ci-dessous, vous trouverez notre requête et la réponse de ChatGPT. N’hésitez pas à dérouler la fenêtre pour accéder à l’ensemble du texte disponible.

Notons que la réponse de ChatGPT a été libellée en deux parties distinctes.

Des individus avec de drôles d'accoutrements tappent sur des claviers pour répondre à un questionnaire
Crédit : réalisé avec Midjourney par Monsieur Nerd pour Technopédia

Alternative possible : le prompt pour créer un QCM avec des questions à appariement

Il peut être utile de varier les questions au sein d’un même test. Les appariements sont, à cet égard, des exercices assez amusants à réaliser, notamment dans le cadre d’un test de langue. Un paragraphe de la documentation sur le format GIFT dans Moodle est justement dédiée aux exercices d’appariement.

Nous allons donc quelque peu changer le prompt pour qu’il reflète ces changements et que ChatGPT nous renvoie des questions à appariement avec la syntaxe correcte.

Importation dans Moodle

Après avoir généré des questions dans ChatGPT, il s’agit maintenant de les importer dans Moodle afin de façonner le questionnaire automatisé.

Pour cela, 3 étapes sont nécessaires, il faut :

  • sauver la réponse de ChatGPT dans un fichier ;
  • importer le fichier créé dans la banque de question de Moodle ;
  • créer un questionnaire dans un espace de cours Moodle.

Sauver la réponse de ChatGPT dans un fichier

Il suffit ensuite de copier le contenu de la réponse de ChatGPT en appuyant sur le bouton idoine ou faire un simple copier/coller de la sortie de ChatGPT (celle sur fond noir) dans un éditeur de texte simple comme le bloc-notes (Microsoft) ou TextEdit (Mac) et le sauver avec l’extension .txt en UTF-8 (par défaut sur le Bloc-notes intégré à Windows 11).

Capture d'écran qui montre comment coller la sortie de ChatGPT dans un fichier
La sortie de ChatGPT doit être collée et sauvée dans un document appelé “gift.txt”.

Importer le fichier créé dans la banque de question de Moodle

Gif qui montre comment importer les questions dans Moodle
Ce GIF animé montre comment importer facilement les questions dans Moodle

Nous savons que de nombreux établissements ne possèdent pas de plateforme Moodle et cela pour différentes raisons. La Cellule Technopédia peut néanmoins mettre à disposition des espaces de tests sur sa propre plateforme Moodle et former les chargés de cours à l’utilisation de cette solution. Par ailleurs, il existe la possibilité de faire appel au CRP (le Centre de Ressources pédagogiques de la Fédération Wallonie-Bruxelles) pour obtenir des espaces de cours sur ce système de gestion des apprentissages qui nous semble totalement adapté.

Nous partirons, dans la suite de cet article, sur le postulat que vous avez accès à des espaces de cours sur Moodle.

Dans un premier temps, il faudra vous rendre sur une plateforme Moodle, dans l’espace de cours dans lequel vous souhaitez importer le questionnaire réalisé par ChatGPT.

Ensuite, il faudra réaliser les étapes suivantes (que vous pouvez suivre dans le GIF animé ci-dessus) :

  1. Se rendre sous l’onglet Plus et sélectionner le sous-menu Banque de questions ;
  2. Dans le menu déroulant, sélectionner Importer ;
  3. Sélectionner la case à cocher Format Gift ;
  4. Choisir le fichier dans lequel la réponse sur fond noir de ChatGPT a été sauvée ;
  5. Appuyer sur Déposer le fichier puis Importation ;

Les questions devraient dès lors apparaître dans votre Banque de questions.

Créer un questionnaire dans un espace de cours Moodle

Après avoir importer vos questions dans la Banque de questions, vous devez vous rendre dans votre espace de cours pour utiliser ces questions dans une activité de test.

Voici les étapes à réaliser (visibles dans le GIF animé ci-dessus) pour créer un questionnaire dans votre espace de cours Moodle :

  • Passer en mode édition ;
  • Cliquer sur Ajouter une activité ou ressource ;
  • Sélectionner l’activité Test ;
  • Nommer le Test et le paramétrer selon vos désidératas puis enregistrer ;
  • Dans l’espace de cours cliquez sur le nom du test ;
  • Cliquer Ajouter question ;
  • Cliquer sur Ajouter (en bas à droite) ;
  • Cliquer sur + de la Banque de questions ;
  • Sélectionner les questions de la Banque de questions que vous souhaitez voir intégrer dans votre test puis valider en appuyant sur Ajouter au test les questions sélectionnées.

Conclusion

Nous avons vu ensemble, dans cet article, comment construire facilement des tests automatisés avec ChatGPT et les importer ensuite dans Moodle.

Nous espérons que cela vous a plu et que vous parviendrez, suite à cette lecture, à mettre en œuvre, de manière fluide, les procédures qui y sont décrites et surtout à vous les approprier.

Vous êtes invité évidemment à parcourir l’entièreté de ce dossier thématique car vous y trouverez d’autres informations utiles ainsi que des ressources vous permettant de construire d’autres supports pédagogiques à l’aide de l’IA. N’hésitez pas notamment à lire cet article pour comprendre comment l’IA peut vous aider à concevoir un cours, cet article pour savoir si l’IA va finir par nous mettre au chômage ou encore cet article sur l’intelligence artificielle et son incidence sur l’enseignement.

Bonne lecture !

Sources

Brotcorne, P., Damhuis, L., Laurent, V., Valenduc, G., & Vendramin, P. (2010). Diversité et vulnérabilité dans les usages des TIC : La fracture numérique au second degré (Academia Press). https://www.belspo.be/belspo/ta/publ/academia-usagesTIC-U1527.pdf

Digital Wallonia. (2021). Baromètre 2021 de maturité numérique des citoyens wallons. https://assets.ctfassets.net/myqv2p4gx62v/3I6hoPypftqdJiXrxEEuME/21cb2cc2fe34ef53f05778986717afcb/2021-09-Barome__tre-Citoyens-2021-Complet.pdf

Milton, L. E., & Landon, L. E. (2019). Student Perspectives on the Immediate Feedback Assessment Technique. Journal of Occupational Therapy Education, 3(3). https://doi.org/10.26681/jote.2019.030301

Moodle.org. (2023). Format GIFT. https://docs.moodle.org/4x/fr/Format_GIFT

Observatoire de la Santé et du Social de Bruxelles-Capitale. (2020). Baromètre social. Rapport bruxellois sur l’état de la pauvreté 2020. Bruxelles: Commission communautaire commune. https://www.ccc-ggc.brussels/sites/default/files/documents/graphics/rapport-pauvrete/barometre-welzijnsbarometer/barometre_social_2020.pdf

Observatoire de la Santé et du Social de Bruxelles-Capitale. (2021). Baromètre social—Résumé—Rapport Bruxellois sur l’état de la pauvreté 2021. Bruxelles: Commission communautaire commune. https://www.ccc-ggc.brussels/sites/default/files/documents/graphics/rapport-pauvrete/barometre-welzijnsbarometer/resume_barometre_social_2021.pdf

Roediger, H. L., & Karpicke, J. D. (2006). Test-Enhanced Learning : Taking Memory Tests Improves Long-Term Retention. Psychological Science, 17(3), 249‑255. https://doi.org/10.1111/j.1467-9280.2006.01693.x

SPF Économie, PME, Classes moyennes et Énergie. (2020). Baromètre de la sociéte de l’information (2020). https://economie.fgov.be/sites/default/files/Files/Publications/files/Barometre-de-la-societe-de-l-information-2020.pdf

Yang, C., Luo, L., Vadillo, M. A., Yu, R., & Shanks, D. R. (2021). Testing (quizzing) boosts classroom learning : A systematic and meta-analytic review. Psychological Bulletin, 147(4), 399‑435. https://doi.org/10.1037/bul0000309


Étiquettes :

Commentaires

4 réponses à “Comment créer des évaluations automatiques grâce à ChatGPT et Moodle?”

  1. Avatar de David Morphis
    David Morphis

    Avec Quiz Wizard, il génère un fichier XML Moodle. Cela serait sans doute plus pratique. Je conseillerais de mettre votre article à jour avec ce nouvel outil.

  2. Avatar de Technopédia

    Bonjour David,

    En effet, Quiz Wizard est un outil hyper efficace pour générer des questionnaires intégrables directement dans Moodle !

    Nous l’avions d’ailleurs sélectionné comme outil coup de ❤️ en novembre dernier : https://technopedia-cpeons.be/2023/06/06/quiz-wizard-loutil-coup-de-%e2%9d%a4%ef%b8%8f-edition-speciale-revisions/

    Merci David pour ton commentaire avisé ! 😉

  3. Avatar de Labidi-Heuzé Laurent
    Labidi-Heuzé Laurent

    Bonjour,

    Merci pour la mise à disposition de votre travail <3

    Sans atteindre la précision de ces prompts, et limité au QCM, Vrai-faux et Réponse courte, le plugin "Open AI question generator" permet de générer des questions directement dans Moodle à partir d'un corpus (texte du cours que l'on copie-colle.

    https://moodle.org/plugins/block_openai_questions

    Les questions sont éditables avant exportation dans la banque de questions. Contrainte: il faut avoir un compte ChatGPT et la main sur le moodle pour installer le plugin et renseigner la clé de l'API.

    Cordialement

    1. Avatar de Technopedia@cpeons

      Bonjour Laurent,

      Merci pour ce retour! Nous ne manquerons pas de jeter un coup d’œil sur ce plugin afin de le tester.

      Bien à vous,
      L’équipe de Technopédia

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *