Forces et faiblesses du ChatGPT en classe

Cliquez ici si vous voulez lire cet article en anglais.

Malgré le caractère naturel des textes générés par des outils d'intelligence artificielle tels que ChatGPT, ils ne sont pas utiles pour tout. Pablo Dorta-González, professeur de méthodes quantitatives à l'université de Las Palmas de Gran Canaria, analyse l'outil et propose des exemples pratiques pour son utilisation en classe.

Les chatbots ont une portée limitée et des résultats singuliers, mais ils font l'actualité et fascinent les gens, ce qui est une bonne chose. Au cours des trois derniers mois, des millions d'utilisateurs ont testé le potentiel et les limites de ChatGPT, un robot développé par la société OpenAI pour écrire des courriels, du code de programmation, des poèmes et même des activités académiques. Ce chatbot a récemment réussi un examen de diplôme (MBA) dans une université américaine, ce qui a suscité encore plus d'admiration et d'inquiétude. En réaction, certains professeurs modifient les examens et les devoirs pour s'adapter à cet outil.

Si de nombreux utilisateurs sont stupéfaits par le caractère impressionnant et naturel du résultat, cela ne veut pas dire qu'il est utile pour tout. En fait, les humains devraient moins craindre d'être mis au chômage par ChatGPT que d'être mis au chômage par quelqu'un qui sait comment utiliser efficacement cette technologie. C'est pourquoi certaines faiblesses et certains points forts des modèles linguistiques sont décrits ci-dessous, ainsi que des exemples pratiques de leur utilisation possible en classe.

Faiblesses des modèles linguistiques

ChatGPT semble avoir trois objectifs : être utile, être véridique et ne pas être offensant. Cependant, dans sa tentative d'être utile (et non offensant), il a parfois des hallucinations numériques et invente des choses. En outre, lorsque vous utilisez ChatGPT, vous pouvez découvrir qu'il n'est capable de répondre de manière satisfaisante qu'aux questions de définition et d'utilisation des concepts, mais qu'il n'a aucune compétence en matière de résolution de problèmes. En revanche, lorsque les questions sont difficiles et nécessitent une compréhension plus approfondie, ChatGPT fournit des réponses élégamment rédigées, mais qui ne tiennent pas compte de la situation posée et aboutissent donc à une conclusion erronée. Il commet également des erreurs de calcul, ce qui peut surprendre puisqu'il s'agit d'un modèle informatique.

Points forts des modèles linguistiques

En tant qu'assistant virtuel

ChatGPT est utile pour expliquer des concepts et donner des exemples. Cependant, il n'est pas fiable en tant que moteur de recherche ou source d'information. Par conséquent, les réponses qu'il produit et qui ne peuvent pas être facilement vérifiées doivent être mises en quarantaine.

Il peut également contribuer à générer des perspectives différentes pour comprendre comment divers secteurs de la société perçoivent les choses. Cela peut avoir des implications pour notre système éducatif. Au lieu de répondre à des questions, on pourrait demander aux étudiants d'écrire des questions et d'évaluer leurs réponses sur la base des différentes perspectives soulevées.

Générer des idées innovantes (brainstorming).

La supercréativité est un concept émergent de l'intelligence artificielle (IA). Selon Sebastian Thrun, fondateur de Google X : "Nous n'avons même pas commencé à comprendre à quel point l'IA deviendra créative. Si vous prenez toutes les connaissances et la créativité du monde et que vous les mettez dans une bouteille, vous serez étonné de ce qui en sortira. Cette capacité à collaborer avec l'IA pour créer de meilleurs résultats et des idées innovantes deviendra de plus en plus importante à l'avenir. Toutefois, nous devons mettre au point des processus permettant aux humains de contrôler l'IA et de s'assurer que ce qu'elle génère est fiable.

Adapter les concepts à des situations multiples (transfert)

Une compétence importante, tant dans l'éducation que sur le marché du travail, est la capacité à mettre en pratique ce qui a été appris. Le transfert nécessite une compréhension approfondie d'un concept. Initialement, lorsque les gens apprennent un nouveau concept dans un contexte donné, ils ne le reconnaissent souvent pas lorsqu'ils le rencontrent à nouveau dans un contexte différent. Cela s'explique par le fait que nous avons tendance à nous concentrer sur les spécificités d'un problème ou d'une situation donnée, mais aussi par le fait que l'application des connaissances à un nouveau contexte nécessite une compréhension plus approfondie. Pour utiliser ce qui a été appris précédemment, les gens doivent reconnaître que le problème est le même, mais dans un nouveau contexte.

Il est difficile de démontrer que le transfert a lieu, et encore plus difficile d'apprendre aux gens à transférer des connaissances. Mais l'IA peut aider car elle est douée pour inventer des situations. C'est un moyen peu coûteux de donner aux gens de nombreux exemples, dont certains peuvent être inexacts, nécessiter plus d'explications ou ne pas être très réalistes.

Une application possible en classe serait que les élèves demandent à l'IA de créer des scénarios qui appliquent un concept qu'ils ont appris en classe : créer un scénario de Harry Potter qui explique l'inflation dans l'économie d'un pays ; montrer un scénario en deux scènes où des extraterrestres dirigent une entreprise innovante sur Terre ; ou écrire une chanson qui utilise l'analyse dérivée et l'analyse marginale, par exemple. Demandez ensuite aux élèves de critiquer et de développer ces modèles, et de suggérer des améliorations possibles.

Ainsi, la capacité de générer une infinité d'exemples convaincants (mais légèrement imparfaits) de l'application d'un concept permet d'aborder le transfert d'une manière nouvelle.

Briser l'illusion de la profondeur explicative.

Nous pensons comprendre le monde beaucoup mieux que nous ne le faisons, ce qui nous rend moins enclins à apprendre. C'est ce qu'on appelle l'illusion de la profondeur explicative, un biais cognitif qui se produit lorsqu'une personne surestime sa compréhension d'un concept ou d'un phénomène. Ce biais se caractérise souvent par la capacité d'une personne à fournir une explication détaillée et apparemment bien informée d'un sujet, alors que son degré de compréhension réel est plutôt limité. Par exemple, la plupart d'entre nous ne peuvent pas expliquer comment un avion peut voler, comment un moteur fonctionne ou même comment un crayon est fabriqué, mais nous nous berçons de l'illusion que nous avons une connaissance approfondie du sujet. Les étudiants peuvent aussi facilement tomber dans cette illusion, en supposant qu'ils comprennent comment quelque chose fonctionne alors qu'en réalité, ils n'ont qu'une connaissance superficielle du sujet.

Pour briser l'illusion, il faut se confronter à sa propre ignorance, ce qui peut être une expérience bouleversante et humiliante, et difficile à faire pour les enseignants. Laisser l'IA le faire à votre place peut donc être une bonne alternative.

Une application possible en classe serait que les élèves demandent à l'IA d'expliquer un concept particulier étape par étape, ce que l'IA sait très bien faire. Les élèves doivent ensuite améliorer ce résultat en ajoutant des informations et en remettant en question certains aspects : qu'est-ce qui manque, qu'est-ce qui ne va pas ?

L'objectif de cette activité est de permettre aux élèves d'ajouter, de supprimer et de combiner des aspects, en utilisant leurs propres recherches, jusqu'à ce qu'ils parviennent à comprendre le concept et à se rendre compte de sa complexité réelle, tout en acquérant une certaine maîtrise.

Le pouvoir d'enseigner à quelqu'un

Lorsqu'un étudiant entend un concept expliqué, il a souvent l'impression de le comprendre, mais ce sentiment n'est pas toujours exact. Un moyen efficace de mettre en pratique les concepts théoriques est d'enseigner à quelqu'un d'autre, d'évaluer son travail et de lui donner des conseils sur la manière de s'améliorer. Comme tout enseignant le sait, l'acte d'enseigner à quelqu'un d'autre et d'évaluer son travail améliore considérablement notre propre connaissance d'un sujet.

En jouant le rôle d'un "étudiant", l'IA peut proposer des conversations sur un sujet afin que les élèves puissent le critiquer et l'améliorer. L'objectif de cet exercice est de permettre à l'IA d'élaborer un discours sur un sujet, puis de "travailler avec l'élève" pour améliorer la rédaction, en ajoutant de nouvelles informations, en clarifiant certains aspects, en ajoutant des idées et en fournissant des preuves. De cette manière, nous profitons de la propension de l'IA à simplifier les sujets complexes et de son manque d'analyse approfondie pour permettre à l'élève de fournir des indices sur sa compréhension.

Dans cette activité, l'enseignant fournit aux élèves un sujet de dissertation sur l'IA et ils devront faire des suggestions pour l'améliorer. Les élèves colleront l'essai original, leurs suggestions et le résultat final. Ce processus les encouragera à réfléchir de manière critique au contenu et à formuler leurs idées de manière claire et concise. Ils devront peut-être rechercher des informations supplémentaires pour combler les lacunes de l'IA ou vérifier auprès d'autres sources les faits présentés dans l'IA. À tout le moins, cette activité permettra aux élèves de reconnaître à quel point il peut être difficile d'enseigner et d'évaluer le travail d'autrui.