
Les LLM ressemblent de plus en plus à un cerveau à mesure qu’ils progressent, découvrent les chercheurs
La méthodologie pour prédire les réponses cérébrales à la parole à partir des intégrations LLM, pour évaluer la similitude de divers LLM avec le cerveau. Crédit : Gavin Mischler (Figure adaptée de Mischler et al., Intelligence des machines naturelles2024).
Les grands modèles de langage (LLM), dont le plus connu est ChatGPT, sont devenus de plus en plus efficaces dans le traitement et la génération du langage humain au cours des dernières années. Cependant, la mesure dans laquelle ces modèles imitent les processus neuronaux qui soutiennent le traitement du langage par le cerveau humain reste encore à élucider.
Des chercheurs de l’Université Columbia et des Feinstein Institutes for Medical Research Northwell Health ont récemment mené une étude sur les similitudes entre les représentations LLM sur les réponses neuronales. Leurs conclusions, publiées dans Intelligence des machines naturellessuggèrent qu’à mesure que les LLM deviennent plus avancés, non seulement ils fonctionnent mieux, mais ils ressemblent également davantage à un cerveau.
“Notre inspiration originale pour cet article est venue de la récente explosion du paysage des LLM et de la recherche en neuro-IA”, a déclaré Gavin Mischler, premier auteur de l’article, à Tech Xplore.
“Quelques articles au cours des dernières années ont montré que les intégrations de mots de GPT-2 présentaient une certaine similitude avec les réponses de mots enregistrées à partir du cerveau humain, mais dans le domaine en évolution rapide de l’IA, GPT-2 est désormais considéré comme ancien et non plus. très puissant.
“Depuis la sortie de ChatGPT, de nombreux autres modèles puissants sont apparus, mais peu de recherches ont été menées pour savoir si ces modèles plus récents, plus grands et meilleurs présentent toujours les mêmes similitudes cérébrales.”
L’objectif principal de l’étude récente menée par Mischler et ses collègues était de déterminer si les derniers LLM présentaient également des similitudes avec le cerveau humain. Cela pourrait améliorer la compréhension de l’intelligence artificielle (IA) et du cerveau, notamment en termes de manière dont ils analysent et produisent le langage.
Les chercheurs ont examiné 12 modèles open source différents développés au cours des dernières années, qui présentent des architectures presque identiques et un nombre similaire de paramètres. Parallèlement, ils ont également enregistré des réponses neuronales dans le cerveau de patients neurochirurgicaux alors qu’ils écoutaient la parole, à l’aide d’électrodes implantées dans leur cerveau dans le cadre de leur traitement.
“Nous avons également donné le texte du même discours aux LLM et extrait leurs intégrations, qui sont essentiellement les représentations internes que les différentes couches d’un LLM utilisent pour encoder et traiter le texte”, a expliqué Mischler.
“Pour estimer la similitude entre ces modèles et le cerveau, nous avons essayé de prédire les réponses neuronales enregistrées aux mots à partir des intégrations de mots. La capacité de prédire les réponses cérébrales à partir des intégrations de mots nous donne une idée de la similitude entre les deux.”
Après avoir collecté leurs données, les chercheurs ont utilisé des outils informatiques pour déterminer dans quelle mesure les LLM et le cerveau étaient alignés. Ils ont spécifiquement examiné quelles couches de chaque LLM présentaient la plus grande correspondance avec les régions du cerveau impliquées dans le traitement du langage, dans lesquelles les réponses neuronales à la parole sont connues pour « construire » progressivement des représentations linguistiques en examinant les composants acoustiques, phonétiques et éventuellement plus abstraits de la parole.
“Tout d’abord, nous avons constaté qu’à mesure que les LLM deviennent plus puissants (par exemple, à mesure qu’ils répondent mieux à des questions telles que ChatGPT), leurs intégrations deviennent plus similaires aux réponses neuronales du cerveau au langage”, a déclaré Mischler.
“Plus surprenant encore, à mesure que les performances des LLM augmentent, leur alignement avec la hiérarchie du cerveau augmente également. Cela signifie que la quantité et le type d’informations extraites dans les régions cérébrales successives au cours du traitement du langage s’alignent mieux avec les informations extraites par les couches successives des LLM les plus performants. qu’avec les LLM peu performants.
Les résultats rassemblés par cette équipe de chercheurs suggèrent que les LLM les plus performants reflètent plus fidèlement les réponses cérébrales associées au traitement du langage. De plus, leurs meilleures performances semblent être dues à la plus grande efficacité de leurs couches antérieures.
“Ces résultats ont diverses implications, dont l’une est que l’approche moderne des architectures et de la formation LLM conduit ces modèles vers les mêmes principes employés par le cerveau humain, qui est incroyablement spécialisé dans le traitement du langage”, a déclaré Mischler.
“Que ce soit parce qu’il existe certains principes fondamentaux qui sous-tendent la manière la plus efficace de comprendre le langage, ou simplement par hasard, il semble que les systèmes naturels et artificiels convergent vers une méthode similaire de traitement du langage.”
Les travaux récents de Mischler et de ses collègues pourraient ouvrir la voie à d’autres études comparant les représentations LLM et les réponses neuronales associées au traitement du langage. Collectivement, ces efforts de recherche pourraient éclairer le développement de futurs LLM, en garantissant qu’ils s’alignent mieux sur les processus mentaux humains.
“Je pense que le cerveau est si intéressant parce que nous ne comprenons pas encore totalement comment il fait ce qu’il fait, et sa capacité de traitement du langage est typiquement humaine”, a ajouté Mischler. “En même temps, les LLM restent, d’une certaine manière, une boîte noire, même s’ils sont capables de réaliser des choses étonnantes. Nous voulons donc essayer d’utiliser les LLM pour comprendre le cerveau et vice versa.
“Nous avons maintenant de nouvelles hypothèses sur l’importance des premières couches dans les LLM très performants, et en extrapolant la tendance de meilleurs LLM montrant une meilleure correspondance cérébrale, ces résultats peuvent peut-être fournir des moyens potentiels de rendre les LLM plus puissants en les rendant explicitement plus puissants. semblable à un cerveau. »
Plus d’informations :
Gavin Mischler et al, Les hiérarchies d’extraction de caractéristiques contextuelles convergent dans les grands modèles de langage et le cerveau, Intelligence des machines naturelles (2024). DOI : 10.1038/s42256-024-00925-4.
© 2024 Réseau Science X
Citation: Les LLM ressemblent de plus en plus à un cerveau à mesure qu’ils progressent, découvrent les chercheurs (18 décembre 2024) récupéré le 19 décembre 2024 sur
Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans autorisation écrite. Le contenu est fourni à titre informatif uniquement.