Chatgpt semble improviser lorsqu’il est mis à travers l’ancien puzzle des mathématiques grecques

Le chatbot de l’intelligence artificielle, Chatgpt, a semblé improviser les idées et faire des erreurs comme un étudiant dans une étude qui a redémarré un défi mathématique âgé de 2 400 ans.

L’expérience, de deux chercheurs en éducation, a demandé au chatbot de résoudre une version du problème “doubler la place” – une leçon décrite par Platon dans environ 385 avant notre ère et, le document suggère, “peut-être la première expérience documentée en éducation mathématique”. Le puzzle a déclenché des siècles de débat sur la question de savoir si la connaissance est latente en nous, en attendant d’être «récupérée», ou quelque chose que nous «générons» par l’expérience et les rencontres vécues.

La nouvelle étude a exploré une question similaire sur les «connaissances» mathématiques de Chatgpt – comme cela peut être perçu par ses utilisateurs. Les chercheurs voulaient savoir si cela résoudrait le problème de Platon en utilisant les connaissances qu’elle a déjà «tenues» ou en développant de manière adaptative ses propres solutions.

Platon décrit Socrate enseignant à un garçon sans instruction comment doubler la zone d’un carré. Au début, le garçon suggère à tort doubler la longueur de chaque côté, mais Socrate le conduit finalement à comprendre que les côtés du nouveau carré devraient être de la même longueur que la diagonale de l’original.

Les chercheurs ont posé ce problème à ChatGPT-4, imitant d’abord les questions de Socrate, puis introduisant délibérément des erreurs, des requêtes et de nouvelles variantes du problème.

Comme d’autres modèles de grande langue (LLMS), Chatgpt est formé sur de vastes collections de texte et génère des réponses en prédisant les séquences de mots apprises lors de sa formation. Les chercheurs s’attendaient à ce qu’il gère leur ancien défi mathématique grec en régurgitant sa «connaissance» préexistante de la solution célèbre de Socrate. Au lieu de cela, cependant, il a semblé improviser son approche et, à un moment donné, a également fait une erreur de type humain.

L’étude a été menée par le Dr Nadav Marco, chercheur invité à l’Université de Cambridge, et Andreas Stylianides, professeur d’enseignement des mathématiques à Cambridge. Marco est basé en permanence à l’Université hébraïque et au David Yellin College of Education de Jérusalem.

Bien qu’ils soient prudents quant aux résultats, soulignant que les LLM ne pensent pas comme les humains ou «les choses», Marco a caractérisé le comportement de Chatgpt comme «semblable à l’apprenant».

“Lorsque nous sommes confrontés à un nouveau problème, notre instinct est souvent d’essayer les choses en fonction de notre expérience passée”, a déclaré Marco. “Dans notre expérience, Chatgpt semblait faire quelque chose de similaire. Comme un apprenant ou un érudit, il semblait proposer ses propres hypothèses et solutions.”

Parce que Chatgpt est formé sur le texte et non sur les diagrammes, il a tendance à être plus faible avec le type de raisonnement géométrique que Socrate a utilisé pour doubler le problème carré. Malgré cela, le texte de Platon est si bien connu que les chercheurs s’attendaient à ce que le chatbot reconnaisse leurs questions et reproduisait la solution de Socrate.

Curieusement, il n’a pas réussi à le faire. Invité à doubler la place, Chatgpt a opté pour une approche algébrique qui aurait été inconnue à l’époque de Platon.

Il a ensuite résisté aux tentatives de le faire faire l’erreur du garçon et a obstinément collé à l’algèbre même lorsque les chercheurs se sont plaints que sa réponse soit une approximation. Ce n’est que lorsque Marco et Stylianides lui ont dit qu’ils étaient déçus que, malgré toute sa formation, il ne pouvait pas fournir une réponse “élégante et exacte”, a fait que Chatgpt a produit l’alternative géométrique.

Malgré cela, Chatgpt a démontré une connaissance complète du travail de Platon lorsqu’il est interrogé à ce sujet. “S’il n’avait rappelé que de mémoire, il aurait presque certainement référencé la solution classique de construire un nouveau carré sur la diagonale du carré d’origine”, a déclaré Stylianides. “Au lieu de cela, il semblait adopter sa propre approche.”

Les chercheurs ont également posé une variante du problème de Platon, demandant à Chatgpt de doubler la zone d’un rectangle tout en conservant ses proportions. Même si cela était maintenant conscient de leur préférence pour la géométrie, Chatgpt a obstinément collé à l’algèbre. Lorsqu’il est pressé, il a ensuite affirmé à tort que, parce que la diagonale d’un rectangle ne peut pas être utilisée pour doubler sa taille, une solution géométrique n’était pas disponible.

Le point sur la diagonale est vrai, mais une solution géométrique différente existe. Marco a suggéré que la chance que cette fausse affirmation soit venue de la base de connaissances du chatbot était “de manière disparue”. Au lieu de cela, Chatgpt a semblé improviser ses réponses en fonction de leur discussion précédente sur le carré.

Enfin, Marco et Stylianides lui ont demandé de doubler la taille d’un triangle. Le chat est revenu à l’algèbre encore une fois, mais après que davantage d’incitation a trouvé une réponse géométrique correcte.

Les chercheurs mettent l’accent sur l’importance de ne pas interpréter ces résultats, car ils ne pouvaient pas observer scientifiquement le codage de Chatgpt. Du point de vue de leur expérience numérique en tant qu’utilisateurs, ce qui a émergé à ce niveau de surface était un mélange de récupération de données et de raisonnement à la volée.

Ils comparent ce comportement au concept éducatif d’une “zone de développement proximal” (ZPD) – l’écart entre ce qu’un apprenant sait déjà et ce qu’ils pourraient éventuellement savoir avec le soutien et les conseils. Peut-être, selon eux, l’IA génératrice a un “ZPD de Chat” métaphorique: dans certains cas, il ne sera pas en mesure de résoudre les problèmes immédiatement mais pourrait le faire avec l’incitation.

Les auteurs suggèrent que travailler avec Chatgpt dans son ZPD peut aider à transformer ses limites en possibilités d’apprentissage. En invitant, en remettant en question et en testant ses réponses, les élèves navigueront non seulement sur les limites de Chatgpt, mais développeront également les compétences critiques de l’évaluation et du raisonnement qui se trouvent au cœur de la pensée mathématique.

“Contrairement aux preuves trouvées dans les manuels réputés, les étudiants ne peuvent pas supposer que les preuves de Chatgpt sont valides. Comprendre et évaluer les preuves générées par l’IA est en train de devenir des compétences clés qui doivent être intégrées dans le programme de mathématiques”, ont déclaré Stylianides.

“Ce sont des compétences de base que nous voulons que les élèves maîtrisent, mais cela signifie utiliser des invites comme”, je veux que nous explorions ce problème ensemble “, non,” dites-moi la réponse “”, a ajouté Marco.

La recherche est publiée dans le Journal international d’éducation mathématique en sciences et technologies.