Auto-multiple-choice

De Wikipfc2i.

V 1.5


Sommaire

Présentation

Nous sommes en fin d'expérimentation de l'interfacage de la plate-forme avec le logiciel libre de génération/correction automatique de QCM AMC [[1]].

Outre le fait qu'il s'agit d'un logiciel libre, cette solution apporte de nombreux avantages :

  • Il attend en entrée un fichier au format Latex qui peut être aisément personnalisé avant impression pour diffusion aux candidats et un fichier CSV contenant la liste des inscrits (nom;prénom;numetudiant;email).

A ce jour la plate-forme émet automatiquement un zip contenant le fichier Latex sous deux formats :

    • avec grille de réponses séparées (ce qui réduit ensuite le nombre de pages à scanner)
    • sans grille de réponses séparées.
  • les éventuels documents images associés aux questions sont correctement émis et reproduit sur les sujets.
  • Il accepte le barème officiel C2I, mais le barème peut-être modifié dans le source Latex.


  • Il est capable de mélanger automatiquement les questions et les réponses sur les copies candidat ; cette option est automatiquement émise par la plate-forme si les paramètres correspondants de l'examen sont activées.
  • Il corrige automatiquement les copies scannées (avec une possibilité de contrôle manuel ultérieur) et produit un fichier de scores par question (selon le barème émis par la plate-forme), au format OpenOffice ou CSV à partir du fichier des inscrits émis par la plate-forme.


  • Ce fichier, après contrôle et exportation en CSV, peut ensuite être re-importé dans la plate-forme. A nouveau, dans le cas ou l'examen est membre d'un pool, les inscriptions effectives sont créées à la volée. C'est la plate-forme qui produira alors le score global et les scores par domaine requis par la directive ministérielle à partir des scores obtenus pour chaque question.

Version de AMC

Le protocole décrit ci-dessous a été développé conjointement avec l'auteur du logiciel AMC et fonctionne avec la version expérimentale marquée 0.326 (de Juillet 2010) et la révision 1.5 976 de la plate-forme.

Documentation de AMC

Nous vous recommandons la lecture préalable de la documentation disponible ici au format HTML ou PDF pour la dernière version stable.


Si vous utilisez une version expérimentale, un lien vers la documentation la plus à jour est disponible dans le menu Aide de l'interface graphique d'AMC.

Production des fichiers requis par AMC

Assurez-vous tout d'abord que les options de configuration avancées proposées par défaut par la plate-forme vous conviennent :

Tout d'abord, l'option export_AMC dans la catégorie examen doit être à 1 :

Screenshot config global amc.png


Puis dans la catégorie AMC :


Screenshot config amc.png

Dans la fiche d'un examen (onglet Lecture optique), les deux options d'émission des documents requis par AMC vont produire un fichier zip contenant le source Latex du sujet (avec grille de réponses séparée ou non), les éventuelles images à inclure, un fichier CSV contenant la liste des inscrits à l'examen, dans un format utilisable par AMC pour la reconnaissance automatique de la copie grâce au numéro d'étudiant et un fichier d'options spécifique.

Screenshot export amc.png


Ouvrez et enregistrer cette archive sur votre machine locale :

Screenshot archive zip amc.png

Préparation de l'examen sous AMC

Sous AMC, se créer un nouveau projet, puis après l'avoir nommé, sélectionner l'option 'zip' dans l'assistant d'importation :

Screenshot amc import zip.png

Retoucher les documents Latex émis par la plate-forme

En vous aidant de la documentation AMC, et avec un peu de connaissance LaTex, vous pourrez aisément modifier la présentation du sujet avant impression définitive: insertion d'un logo, retouche du texte associé à la zone d'identification du document :

  • ajout d'un logo, d'une entête, d'une date, retouche du texte explicatif situé à coté de la zone d'identification du candidat ...
  • Pour réduire la quantité de papier à imprimer vous pourriez expérimenter avec la directive \begin{multicols}{2}\AMCBoxedAnswers présente pour chaque réponse pour les organiser (ou non) en plusieurs colonnes.

Après vos modifications, régénérez les differents documents PDF avec le bouton 'Mettre à jour les documents' jusqu'à un résultat satisfaisant.

Vous êtes enfin prêts à générer la mise en page définitive des sujets , du corrigé et des documents internes de calage.

Correction de l'examen sous AMC

Suivez l'excellente documentation d'AMC.


Exportation des scores depuis AMC

Lorsque la correction automatique est terminée sous AMC, vous êtres prêt à récupérer les résultats pour les ré-injecter sur la plate-forme.

Dans l'onglet Notations d'AMC, bien prendre soin de choisir les réglages ci-dessous (ces réglages devraient être activés par défaut):

Screenshot export amc correct.png

  • Format CSV : la plate-forme attend un document dans ce format
  • Séparateur <TAB>  : seul ce séparateur sera reconnu
  • Cases cochées : très important pour récupérer les réponses cochées par les candidats et donc pouvoir ensuite consulter leurs réponses par question, leur proposer un corrigé, ou obtenir des statistiques fiables pour les questions. Si vous omettez de cocher cette option, l'importation sur la plate-forme sera refusée.

Reimport des scores vers la plate-forme

Lorsque le fichier d'exportation des scores vous convient ( ce fichier se nomme 'exports/xxx_yyy.csv' dans le répertoire du projet AMC), vous êtes prêt à réimporter ces scores sur la plate-forme. Toujours dans l'onglet 'Lecture Optique' de la fiche de l'examen, choisissez l'option 'Récupération des résultats de lecture optique' :

Screenshotreimport-amc 1.png


  • Choisissez Auto Multiple Choice comme type de lecteur, puis le bouton Parcourir pour aller récupérer le fichier des scores AMC ; appuyez enfin sur le bouton 'Importer' :


Screenshotreimport-amc 2.png


Au bout de quelques instants vous devriez obtenir les résultats suivants :


Screenshot reimport avec un numero etudiant faux.png


Dans cet exemple, un score n'a pas été importé car le numéro d'étudiant trouvé dans le fichier d'import ne correspondait pas à un candidat existant et inscrit à cet examen (probablement parce qu'il avait mal noirci les cases de son numéro d'étudiant). Il vous suffit donc d'éditer le fichier d'import (export_notes.csv) pour corriger ce numéro et de repéter l'importation :

Screenshot reimport avec le numero etudiant faux corrige dans le csv.png

Bien entendu les scores déja importés sont simplement ignorés.


Finalement vous pouvez consulter le succès de l'opération dans l'onglet 'Résultats' puis Résultats complets ou synthétiques :

Screenshot resultats dans pf.png

Limitations

  • AMC utilise une zone ou le candidat noircit son numéro d'étudiant et qui sert plus tard à identifier sa copie. Il est donc obligatoire que vos candidats disposent sur la plate-forme d'un numéro d'étudiant purement numérique (sans aucun symbole autre que les chiffres de 0 à 9). la longueur du numéro d'étudiant peut-être réglée dans la configuration de la plate-forme (8 par défaut).
  • Si vous avez des numéros d'étudiants n'ayant pas tous la longueur maximale prévue, n'oubliez pas de signaler aux candidats de noircir la case 0 des colonnes les plus à gauche ( ex 12345 avec huit chiffres devrait être noirci en '00012345'.
  • AMC ne renvoyant pas les réponses cochées par les candidats, mais les scores par question, vous ne pourrez pas accéder aux Résultats par candidats, ni bien sur leur proposer un corrigé avec leurs réponses et les réponses attendues. De plus vous disposez des copies papier scannées que vous pouvez annoter sous AMC avant de leur remettre. Limitation levée avec AMC >= 0.326 et la révision 1.5 976 de la plate-forme.

Questions les plus fréquentes avec AMC

installation de AMC

AMC requiert des versions très récentes des logiciels perl (5.10) et imagemagick, donc une distribution Linux récente.

  • Il s'installe sans problème à partir du dépot de l'auteur sur une distribution Debian.

problème mémoire avec Latex

Avec un QCM de 45 questions, quelques images et une demande de mélange pour un grand nombre de candidats (>300) vous pourrez recevoir une erreur de mémoire Latex saturée qui a été corrigée selon la FAQ Latex

! TeX capacity exceeded, sorry [main memory size=1500000].
\AMCmem@ireData ...mulaireReponse {{\protect \ETC.
                                                  
l.973 }
       
!  ==> Fatal error occurred, no output PDF file produced!
Transcript written on AMC_65_384.log.
ERR: 1 erreurs lors de la compilation LaTeX (calage)

Voir http://wiki.mathematex.net/doku.php?id=latex:package_animate#attention_au_probleme_de_memoire

Déterminez l'adresse du fichier de configuration texmf.cnf avec la commande

kpsewhich texmf.cnf

tapée dans un terminal. Une fois que vous avez donc localisé ce fichier, ouvrez le sous root avec n'importe quel éditeur de texte. Cherchez dans ce fichier la chaîne de caractères ?main_memory =? Remplacez le nombre juste après cette chaine de caractères par un nombre plus grand, 10000000 par exemple.

Puis enfin recompilez les formats avec les instructions suivantes (exécutées sous root) :

fmtutil-sys --byfmt latex
fmtutil-sys --byfmt pdflatex
fmtutil-sys --byfmt xelatex


L'importation ne récupère aucune note

Si vous ouvrez avec un tableur le fichier d'importation resultats_ACM_xxx_YYY.csv, il peut arriver que la mise en forme automatique du tableur modifie les intitulés des colonnes B,C et D de la 1ere ligne (nom devient Nom, note devient Note, copie devient Copie) , ce qui va faire échouer l'importation, avec un message " l'importation s'est déroulé avec succés", mais aucune note n'a été récupérée. Assurez-vous que les intitulés des trois premières colonnes sont bien restés 'nom','note' et 'copie' en minuscule. et corrigez les si nécessaire :


Import resultats AMC.png

Ce détail sera corrigé dans la révision 1.5 986

Que faire si un candidat a mal rempli son numéro d'étudiant

Si un candidat a mal rempli son numéro d'étudiant sur sa copie papier, vous en serez averti lors de l'importation par un message d'erreur du type 'aucun candidat avec ce numéro XXXXX n'a été trouvé', ou peut-être 'le candidat de numéro XXXXX n'est pas inscrit à l'examen' :

Screenshot reimport avec un numero etudiant faux.png


Pour récupérer ces scores, il vous suffit d'ouvrir le fichier d’importation AMC (resultats_xx_YYY_AMC.csv) avec un tableur et de corriger le numéro d'étudiant (tel qu'il a été scanné par AMC) situé à la dernière colonne (nommée numetudiant) ; la valeur correcte se trouve très probablement dans la première colonne, nommée A:numetudiant, puisque qu'AMC a repris le fichier généré lors de l'exportation, et utilise le numéro de la copie pour effectuer la corrélation avec la copie papier :

Correction fichier import amc.png

Après correction du numéro d'étudiant , enregistrer le fichier csv et répéter l'importation. Seuls les scores manquants seront importés comme ci-dessous :


Screenshot reimport avec le numero etudiant faux corrige dans le csv.png

Si vous avez une révision inférieure à la 1.5 986, assurez-vous que votre tableur n'a pas encore modifié les noms des trois premières colonnes !

Outils personnels