examens – Alma & Georges /alma-georges Le magazine web de l'Université de Fribourg Wed, 20 Nov 2024 16:24:16 +0000 fr-FR hourly 1 https://wordpress.org/?v=6.3.5 Université: ChatGPT chamboule les méthodes d’évaluation /alma-georges/articles/2024/universite-chatgpt-chamboule-les-methodes-devaluation /alma-georges/articles/2024/universite-chatgpt-chamboule-les-methodes-devaluation#comments Mon, 11 Nov 2024 13:43:47 +0000 /alma-georges?p=21248 Comment juger de la qualité, et surtout de l’authenticité, de travaux écrits rédigés tout ou partie avec l’aide de l’intelligence artificielle? C’est la grande question que se pose le corps enseignant, confronté à l’irruption massive des intelligences génératives textuelles dans le monde académique. Prise de température auprès de trois professeur·e·s issu·e·s de trois facultés différentes.

«Il est évident que nombre de mes étudiant·e·s recourent à ChatGPT ou à d’autres formes d’intelligence artificielle (IA) pour les travaux de séminaires». Tel est le constat péremptoire d’Elisabeth Dutton, professeure d’anglais médiévale à l’Université de Fribourg. Plusieurs indices l’ont mise sur la piste, tout d’abord la disparition de certaines fautes de grammaire qu’elle avait l’habitude de déceler dans les textes; ensuite, une certaine sophistication des modes d’expression.

Il y a toutefois une contrepartie à ces textes en apparence mieux rédigés: trop souvent, ils prennent des airs de patchworks… cousus de fil blanc. «J’ai remarqué que les étudiant·e·s créent des assemblages à partir de textes fournis par les intelligences génératives. Le tout manque de liant et les transitions s’avèrent parfois dénuées de sens.»

Pascal Pichonnaz, professeur de droit privé et de droit romain, dresse le même constat: «Nous avons très vite décelé l’usage d’IA dans les lettres de motivation pour les départs Erasmus, leur qualité s’étant sensiblement améliorée. Nous contrebalançons cela par un entretien oral, ce qui réfrène sans doute les velléités d’en abuser.»

Quant à la physique, là où les formules prennent le pas sur le texte, elle ne semble pas non plus échapper au phénomène. «J’ai remarqué que les chapitres d’introduction sont de plus en plus formatés, standardisés, ce qui trahit l’usage d’une IA», explique Baptiste Hildebrand, lecteur au Département de physique, avant d’ajouter ne pas «forcément trouver cela problématique puisque là n’est pas l’essentiel.»

L’IA écartelée entre Shakespeare et la relativité restreinte
Cela dit, l’intelligence artificielle reste encore relativement démunie face aux exigences de ces trois disciplines. «Même pour un exercice de physique de base de première année, ChatGPT ne donne pas toujours la bonne solution, s’amuse Baptiste Hildebrand. Et dans notre discipline où il y a des paradoxes étonnants, l’IA s’avère peu fiable.»

Ces outils modernes, basés sur le traitement de vaste quantité de données, se retrouvent même totalement superflus face aux textes écrits en anglais médiéval. «Mes étudiant·e·s doivent commenter certaines phrases d’un point de vue philologique ou étymologique, explique Elisabeth Dutton. Pour une telle demande, ChatGPT ne leur est d’aucune aide, du moins pour le moment.»

Pascal Pichonnaz, Professeur de droit privé et de droit romain

Les étudiant·e·s en droit, de leur côté, doivent rendre au moins un travail d’une trentaine de pages chaque année. «Par leur nature même, ces travaux écrits  exigent la citation de nombreuses sources et requièrent impérativement d’avoir les bonnes références, ce qui rend difficile le recours à l’intelligence génératives», constate Pascal Pichonnaz.

Un outil formidable malgré tout
Celui qui préside également l’Institut de droit européen voit toutefois un avantage à ces nouveaux outils qu’il considère comme «un sparring-partner permettant d’avoir des idées, de générer une structure ou d’améliorer la qualité de la langue».

Peut-être le plus optimiste de nos trois professeur·e·s, Baptiste Hildebrand estime qu’une publication en physique consiste en résultats de recherches, en analyse de données, obtenues après des mois de travail en laboratoire ou de manière théorique. «L’IA, elle, va permettre de gagner du temps pour la rédaction du texte, qui n’est pas l’aspect le plus important comme je l’ai déjà mentionné.» Et de conclure: «Cela prenait plus de temps, mais il existait déjà des moyens d’améliorer son texte par des moyens externes».

Interdiction peu réaliste
Dans les disciplines où le texte joue un rôle plus prépondérant qu’en physique, faut-il dès lors revoir la pondération des examens et, ainsi que l’a suggéré un enseignant sous couvert d’anonymat, songer à donner plus de poids aux épreuves orales par rapport aux écrits? Nos trois professeur·e·s n’y songent pas encore, dans leur discipline respective les examens écrits se déroulant encore de manière «analogique», hors connexion internet et de manière manuscrite.

Il en va en revanche autrement en ce qui concerne les travaux de séminaire, dont certains peuvent être rédigés à la maison, hors de tout contrôle. Dans ce cas, Pascal Pichonnaz exige de ses étudiant·e·s qu’elles et ils déclarent tout recours à une IA et décrivent à quelles fins. «Est-ce pour améliorer le texte, pour une traduction, pour rechercher des idées? L’aspect central: c’est la transparence! Si on utilise l’IA, on doit le dire et préciser de quelle façon on y a eu recours. C’est d’ailleurs conforme à l’AI Act, la réglementation européenne.»

Démarche similaire du côté de plusieurs professeur·e·s du Département d’anglais où une interdiction ne semble pas judicieuse, ne serait-ce qu’en raison de la difficulté de la mettre en œuvre. «Et pour être honnête, concède Elisabeth Dutton, nous recourons tous les jours à l’intelligence artificielle. C’est juste le copié-collé qui pose problème.» Depuis peu, la professeure d’anglais médiéval demande à ses étudiant·e·s de décrire, en quelques phrases, dans quelle mesure l’IA les a aidés et les problèmes éventuels que cela a posé. Le but? «Je voudrais qu’ils soient auto-critiques envers leur pratique.»

En physique, comme on l’a vu, les avantages que procurent l’IA semblent d’avantage contrecarrés par la nature même des exigences de la discipline. «Un travail de master représente 9 mois dans un groupe de recherche, soit théorique, soit expérimental, explique Baptiste Hildebrand. L’étudiant·e doit y effectuer toute une série de mesures et de calculs dont les IA ne sont pas capables. Elles peuvent donner un coup de main bienvenu pour les tâches de programmation, mais la compréhension du sujet reste essentielle. En ce sens, une interdiction des IA ne me semble pas pertinente.»

Baptiste Hildebrand, Lecteur au Département de physique

On n’arrête pas la technologie
Nos trois professeur·e·s se montrent pour l’heure peu enclins à légiférer, d’autant plus que la technologie avance à un rythme que nul ne peut suivre. Ils reconnaissent tous les trois que les IA provoqueront sans doute des pertes de compétences, par exemple dans la capacité à structurer sa pensée. «Il en est allé de même avec l’apparition de la calculatrice, illustre Baptiste Hildebrand, et personne ne songerait à retourner à l’époque des bouliers-compteurs!» Pour Pascal Pichonnaz, une interdiction serait d’autant plus inappropriée que l’IA va faire partie du quotidien professionnel de chacun·e: «Certains pays, dont la Chine, utilisent des algorithmes en guise d’aide à la décision, voire pour se substituer aux juges. Notre défi, à l’Université, c’est de continuer à donner ces compétences de base aux juristes qui leur permettront de pouvoir interpréter, comprendre, critiquer la solution qu’ils reçoivent.»

«On pourrait souhaiter que cela n’existe pas, conclut presque fataliste Elisabeth Dutton, mais la technologie est là et il faut trouver une manière de l’utiliser d’une manière intelligente. La manière de penser, la structuration des idées restent et resteront des compétences fondamentales.»

Bon à savoir: L’AI à l’Uni

Quant aux principes généraux, ils sont de même nature que ceux évoqués par les trois professeur·e·s:

  • respecter des normes rigoureuses de citation
  • assurer une transparence quant à l’utilisation de l’IA générative. (Ceci inclut la citation précise des sources générées et des prompts utilisés)

L’Université, à l’instar d’autres institutions académiques suisses, préconise également :

  • la conception d’examens limitant l’aide apportée par l’IA
  • l’évaluation des capacités d’analyse et de critique des étudiant·e·s envers l’IA
  • des ajustements dans les politiques anti-fraude
  • des formations continues dans le cadre du projet DigitalSkills@Fribourg et via l’offre de formations du service DIDANUM

> Principes généraux et recommandations pour l’utilisation des IA génératives

_______

]]>
/alma-georges/articles/2024/universite-chatgpt-chamboule-les-methodes-devaluation/feed 5
La tablette et le stéthoscope /alma-georges/articles/2024/la-tablette-et-le-stethoscope /alma-georges/articles/2024/la-tablette-et-le-stethoscope#respond Tue, 14 May 2024 13:02:43 +0000 /alma-georges?p=20211 Début 2024, la section Médecine de l’Unifr a procédé à un premier essai grandeur nature des examens en mode numérique. Sabine Morand, responsable du bureau des examens, évoque les avantages et les défis que représente la transposition des évaluations sur tablettes. Et en profite pour faire un appel du pied à ses homologues d’autres sections ou départements.

Malgré la centaine d’étudiant·e·s présent·e·s dans la salle, le nez collé à leur examen, il règne un calme olympien. Quelques éternuements et raclements de gorge mis à part, le silence est inhabituel. Presque étrange. Ce qu’il manque, ce sont deux bruits familiers, celui du grattement des stylos sur le papier et celui du froissement des feuilles que l’on retourne. Car au lieu des traditionnelles copies papier, les jeunes femmes et hommes se sont vu distribuer des tablettes tactiles, sur lesquelles ils et elles visionnent les questions et enregistrent leurs réponses.

Début 2024, la section Médecine de l’Unifr a testé pour la première fois un examen sous forme numérique à large échelle, c’est-à-dire sur une centaine d’étudiant·e·s et comprenant une soixantaine de questions. «Globalement, tout s’est bien passé», se réjouit Sabine Morand, en charge du bureau des examens des filières médicale et biomédicale. «Nous allons gentiment pouvoir commencer à généraliser cette pratique.»

Consortium basé en Allemagne
C’est en 2019, dans le cadre de l’introduction du Master en médecine à l’Unifr, que les responsables de la section ont commencé à s’intéresser de près à la numérisation des examens. En effet, «au niveau national, des tablettes sont utilisées pour les épreuves de l’examen fédéral, d’où ce besoin d’adaptation à Fribourg». L’alma mater faisait déjà partie depuis 2017 d’un consortium pour les examens basé en Allemagne, l’Umbrella Consortium for Assessment Networks, à laquelle sont notamment affiliées les Universités de Heidelberg, de Munich et de Göttingen, ou encore l’Université de Genève, la Haute école de santé Fribourg (domaine ostéopathie) et la Haute école spécialisée bernoise. Cette structure met à disposition divers outils personnalisables, parmi lesquels figure une application pour générer des examens écrits sur tablette.

Grâce au consortium, l’Unifr a notamment accès à une base de données permettant de créer des questionnaires à choix multiples (QCM) sur tablettes. Sabine Morand rappelle que les QCM constituent l’un des formats les plus utilisés lors des évaluations écrites en médecine et en sciences biomédicales. Les similitudes entre ces deux disciplines ne s’arrêtent d’ailleurs pas là: «Durant les deux premières années des cursus de Bachelor en Médecine humaine et en Sciences biomédicales, certains examens sont à 80%, voire à 90% identiques.» Une aubaine pour le bureau des examens, qui a ainsi eu accès à une cohorte d’utilisateur·trice·s bien étoffée lors des premiers examens numériques pilotes, qui se sont déroulés en 2021 et en 2022.

La particularité du bilinguisme
Outre le fait de profiter de l’expérience des autres hautes écoles membres, la participation au consortium présente un avantage de taille: «Nous bénéficions d’un développement quasi «à la carte» des outils dont nous avons besoin.» Car logiquement, chaque établissement étant différent, il n’existe pas de solution universelle convenant à chacun. «La principale spécificité de l’Unifr, c’est le bilinguisme», relève Sabine Morand. Il a donc fallu créer un programme permettant de sauter d’une langue à l’autre en temps réel, pour chaque question. «Cette contrainte de la langue a constitué un défi pour l’équipe technique du consortium mais le résultat proposé est simple et efficace pour les étudiant·e·s.»

Des atouts par rapport aux évaluations standard, les examens sur tablettes en ont d’autres. L’interface numérique permet de recourir à des formats de questions qui ne sont pas accessibles sur papier. «Dans le domaine médical, les questions Long Menu, qui comportent de très longues listes de réponses, sont par exemple fréquemment utilisées en pharmacologie. Les questions portant spécifiquement sur la radiologie ou l’histologie, elles, impliquent parfois que les futur·e·s médecins reconnaissent une structure montrée sur une image en l’indiquant directement sur l’écran. «Logiquement, la qualité et la précision des images numériques est nettement supérieure au rendu sur papier.»

A noter que le recours à des outils numériques dans le cadre des examens ne se limite pas uniquement au champ des QCM. «Dans le cadre de l’ECOS (ndlr: l’examen clinique objectif structuré (ECOS) est constitué de stations successives simulant une consultation médicale), la tablette permet de présenter le cas de façon plus réaliste et développée, en ayant notamment recours à des vidéos.»

Mutualiser les efforts
Si les examens sous forme numérique présentent des avantages certains, leur mise en place n’est pas sans défis. «Il faut engager ou former du personnel qui soit en mesure de gérer le support technique ainsi que les éventuels développements et adaptations des logiciels», souligne Sabine Morand. «Durant tout l’examen, un·e informaticien·ne doit se trouver dans la salle afin d’assurer le suivi.» Autre challenge d’ordre logistique, celui des locaux. «Jusqu’à présent, en cas de grandes cohortes, les évaluations se déroulaient à l’extérieur de l’Université, dans la Salle des fêtes.» Or, faire passer des examens sur tablette implique d’être sur le campus pour pouvoir se connecter aux serveurs de l’alma mater.

Une piste pour alléger ces problèmes serait de mutualiser les efforts au sein même de l’université. «Plus il y aura de départements qui proposent des examens sous une forme numérique, mieux nous serons armés pour envisager des solutions collectives.»

C’est donc un appel du pied à ses homologues d’autres sections et départements que fait la responsable du bureau des examens des filières médicale et biomédicale. «Même si je suis consciente que les formats d’examen et le type de questions peuvent être très différents d’une discipline à l’autre et que l’application que nous utilisons n’est pas adaptée à tous les domaines d’étude.»

__________

]]>
/alma-georges/articles/2024/la-tablette-et-le-stethoscope/feed 0