Une technique de « sous-titrage mental » permet de lire les pensées humaines à partir d’analyses cérébrales

Lire l’activité cérébrale avec des technologies avancées n’est pas un concept nouveau. Cependant, la plupart des techniques se sont concentrées sur l’identification de mots uniques associés à un objet ou à une action qu’une personne voit ou pense, ou sur la correspondance des signaux cérébraux correspondant aux mots prononcés. Certaines méthodes utilisaient des bases de données de sous-titres ou des réseaux neuronaux profonds, mais ces approches étaient limitées par la couverture des mots de la base de données ou introduisaient des informations non présentes dans le cerveau. Générer des descriptions détaillées et structurées de perceptions visuelles ou de pensées complexes reste difficile.

Une étude récemment publiée dans Avancées scientifiquesadopte une nouvelle approche. Les chercheurs impliqués dans l’étude ont développé ce qu’ils appellent une technique de « sous-titrage mental » qui utilise un processus d’optimisation itératif, dans lequel un modèle de langage masqué (MLM) génère des descriptions de texte en alignant les caractéristiques du texte avec les caractéristiques décodées par le cerveau.

La technique intègre également des modèles linéaires formés pour décoder les caractéristiques sémantiques d’un modèle de langage profond en utilisant l’activité cérébrale de l’imagerie par résonance magnétique fonctionnelle (IRMf). Le résultat est une description textuelle détaillée de ce qu’un participant voit dans son cerveau.

Générer des sous-titres vidéo à partir de la perception humaine

Pour la première partie de l’expérience, six personnes ont regardé 2 196 courtes vidéos pendant que leur activité cérébrale était analysée par IRMf. Les vidéos présentaient divers objets, scènes, actions et événements aléatoires, et les six sujets étaient des locuteurs natifs du japonais et des anglophones non natifs.

Les mêmes vidéos subissaient auparavant une sorte de sous-titrage de texte participatif par d’autres téléspectateurs, qui était traité par un LM pré-entraîné, appelé DeBERTa-large, qui extrayait des fonctionnalités particulières. Ces caractéristiques ont été adaptées à l’activité cérébrale et le texte a été généré via un processus itératif par le modèle MLM, appelé RoBERTa-large.

“Au départ, les descriptions étaient fragmentées et manquaient de signification claire. Cependant, grâce à une optimisation itérative, ces descriptions ont naturellement évolué pour avoir une structure cohérente et capturer efficacement les aspects clés des vidéos visionnées. Notamment, les descriptions résultantes reflétaient avec précision le contenu, y compris les changements dynamiques dans les événements visionnés. De plus, même lorsque des objets spécifiques n’étaient pas correctement identifiés, les descriptions transmettaient toujours avec succès la présence d’interactions entre plusieurs objets”, expliquent les auteurs de l’étude.

L’équipe a ensuite comparé les descriptions générées aux légendes correctes et incorrectes sur différents nombres de candidats pour déterminer l’exactitude, qui, selon eux, était d’environ 50 %. Ils notent que ce niveau de précision surpasse les autres approches actuelles et est prometteur pour de futures améliorations.

Lire des souvenirs

Il a ensuite été demandé aux six mêmes participants de rappeler les vidéos sous IRMf pour tester la capacité de la méthode à lire la mémoire, plutôt que l’expérience visuelle. Les résultats de cette partie de l’expérience étaient également prometteurs.

“L’analyse a réussi à générer des descriptions qui reflétaient avec précision le contenu des vidéos rappelées, même si la précision variait selon les individus. Ces descriptions étaient plus similaires aux légendes des vidéos rappelées qu’à celles non pertinentes, les sujets compétents atteignant une précision de près de 40 % dans l’identification des vidéos rappelées de 100 candidats”, écrivent les auteurs de l’étude.

Pour les personnes dont la capacité de parler est diminuée ou perdue, comme celles qui ont subi un accident vasculaire cérébral, cette nouvelle technologie pourrait éventuellement servir à rétablir la communication. Le fait que le système se soit révélé capable de détecter des significations et des relations plus profondes, au lieu de simples associations de mots, pourrait permettre à ces individus de retrouver bien plus de leur capacité de communication que certaines des autres méthodes d’interface cerveau-ordinateur. Néanmoins, une optimisation supplémentaire est nécessaire avant d’en arriver là.

Considérations éthiques et orientations futures

Indépendamment de certaines des applications les plus positives des dispositifs de sous-titrage mental capables de lire la pensée humaine, il existe certainement des préoccupations légitimes concernant la confidentialité et l’utilisation abusive potentielle de la technologie de conversion cerveau-texte.

Les chercheurs impliqués dans l’étude notent que le consentement restera une considération éthique majeure lors de l’utilisation de techniques de lecture dans les pensées. Avant que l’utilisation plus répandue de ces technologies ne devienne courante, d’importantes questions sur la confidentialité mentale et l’avenir des interfaces cerveau-ordinateur devront être abordées.

Pourtant, l’étude offre un nouvel outil pour la recherche scientifique sur la façon dont le cerveau représente des expériences complexes et une aubaine potentielle pour les individus non verbaux.

Les auteurs de l’étude écrivent : « Ensemble, notre approche équilibre l’interprétabilité, la généralisabilité et la performance, établissant un cadre transparent pour décoder la pensée non verbale en langage et ouvrant la voie à une enquête systématique sur la façon dont la sémantique structurée est codée dans le cerveau humain.

© 2025 Réseau Science X