Une étude révèle que les chatbots IA peuvent détecter la race, mais les préjugés raciaux réduisent l’empathie des réponses

Sous couvert de l’anonymat et de la compagnie d’étrangers, l’attrait du monde numérique comme lieu de recherche d’un soutien en matière de santé mentale augmente. Ce phénomène est alimenté par le fait que plus de 150 millions de personnes aux États-Unis vivent dans des zones désignées par le gouvernement fédéral comme étant en pénurie de professionnels de la santé mentale.

“J’ai vraiment besoin de votre aide, car j’ai trop peur pour parler à un thérapeute et de toute façon, je ne peux pas en joindre un.”

“Est-ce que je réagis de manière excessive, en étant blessée par le fait que mon mari se moque de moi auprès de ses amis ?”

« Est-ce que des étrangers pourraient peser sur ma vie et décider de mon avenir à ma place ?

Les citations ci-dessus sont de véritables messages d’utilisateurs sur Reddit, un site Web d’actualités sur les réseaux sociaux et un forum où les utilisateurs peuvent partager du contenu ou demander des conseils dans des forums plus petits et basés sur leurs intérêts, appelés « subreddits ».

À l’aide d’un ensemble de données de 12 513 publications avec 70 429 réponses provenant de 26 sous-reddits liés à la santé mentale, des chercheurs du MIT, de l’Université de New York (NYU) et de l’Université de Californie à Los Angeles (UCLA) ont conçu un cadre pour aider à évaluer l’équité et la qualité globale de la santé mentale. des chatbots de support de santé basés sur des modèles de langage étendus (LLM) comme GPT-4.

Pour ce faire, les chercheurs ont demandé à deux psychologues cliniciens agréés d’évaluer 50 publications Reddit échantillonnées au hasard recherchant un soutien en matière de santé mentale, en associant chaque publication à la réponse réelle d’un Redditor ou à une réponse générée par GPT-4. Sans savoir quelles réponses étaient réelles ou lesquelles étaient générées par l’IA, les psychologues ont été invités à évaluer le niveau d’empathie de chaque réponse.

Leurs travaux ont été récemment présentés à la Conférence 2024 sur les méthodes empiriques dans le traitement du langage naturel (EMNLP 2024). Il est disponible sur le arXiv serveur de préimpression.

Les chatbots de soutien à la santé mentale sont explorés depuis longtemps comme moyen d’améliorer l’accès au soutien en santé mentale, mais de puissants LLM comme ChatGPT d’OpenAI transforment l’interaction homme-IA, les réponses générées par l’IA devenant plus difficiles à distinguer des réponses des vrais humains.

Malgré ces progrès remarquables, les conséquences involontaires du soutien en santé mentale fourni par l’IA ont attiré l’attention sur ses risques potentiellement mortels ; en mars de l’année dernière, un Belge s’est suicidé à la suite d’un échange avec ELIZA, un chatbot développé pour imiter un psychothérapeute doté d’un LLM appelé GPT-J. Un mois plus tard, la National Eating Disorders Association suspendait son chatbot Tessa, après que celui-ci ait commencé à donner des conseils de régime aux patients souffrant de troubles de l’alimentation.

Saadia Gabriel, une récente postdoctorante au MIT qui est maintenant professeure adjointe à l’UCLA et première auteure de l’article, a admis qu’elle était au départ très sceptique quant à l’efficacité réelle des chatbots de soutien à la santé mentale.

Gabriel a mené cette recherche pendant son séjour postdoctoral au MIT au sein du Healthy Machine Learning Group, sous la direction de Marzyeh Ghassemi, professeure agrégée du MIT au Département de génie électrique et d’informatique et à l’Institut d’ingénierie médicale et de science du MIT, affilié au MIT. Clinique Abdul Latif Jameel pour l’apprentissage automatique en santé et laboratoire d’informatique et d’intelligence artificielle.

Ce que Gabriel et l’équipe de chercheurs ont découvert, c’est que les réponses GPT-4 étaient non seulement globalement plus empathiques, mais qu’elles étaient 48 % plus efficaces pour encourager des changements de comportement positifs que les réponses humaines.

Cependant, lors d’une évaluation des biais, les chercheurs ont constaté que les niveaux d’empathie de réponse de GPT-4 étaient réduits pour les affiches noires (2 à 15 % inférieures) et asiatiques (5 % à 17 % inférieures) par rapport aux affiches blanches ou aux affiches dont la race était inconnue. .

Pour évaluer les biais dans les réponses GPT-4 et les réponses humaines, les chercheurs ont inclus différents types de publications présentant des fuites démographiques explicites (par exemple, sexe, race) et des fuites démographiques implicites.

Une fuite démographique explicite ressemblerait à : « Je suis une femme noire de 32 ans. »

Alors qu’une fuite démographique implicite ressemblerait à : « Être une fille de 32 ans portant mes cheveux naturels », dans laquelle des mots-clés sont utilisés pour indiquer certaines données démographiques au GPT-4.

À l’exception des affiches de femmes noires, les réponses de GPT-4 se sont révélées moins affectées par les fuites démographiques explicites et implicites que les intervenants humains, qui avaient tendance à être plus empathiques lorsqu’ils répondaient à des messages contenant des suggestions démographiques implicites.

“La structure de la contribution que vous donnez (le LLM) et certaines informations sur le contexte, par exemple si vous souhaitez (le LLM) agir dans le style d’un clinicien, dans le style d’une publication sur les réseaux sociaux, ou si vous le souhaitez. utiliser les caractéristiques démographiques du patient, a un impact majeur sur la réponse que vous obtenez”, explique Gabriel.

L’article suggère que le fait de fournir explicitement aux LLM des instructions pour utiliser les attributs démographiques peut effectivement atténuer les préjugés, car il s’agit de la seule méthode dans laquelle les chercheurs n’ont pas observé de différence significative d’empathie entre les différents groupes démographiques.

Gabriel espère que ce travail pourra contribuer à garantir une évaluation plus complète et réfléchie des LLM déployés en milieu clinique dans des sous-groupes démographiques.

“Les LLM sont déjà utilisés pour fournir une assistance aux patients et ont été déployés dans des contextes médicaux, dans de nombreux cas pour automatiser des systèmes humains inefficaces”, explique Ghassemi. “Ici, nous avons démontré que même si les LLM de pointe sont généralement moins affectés par les fuites démographiques que les humains dans le cadre du soutien en santé mentale entre pairs, ils ne fournissent pas de réponses équitables en matière de santé mentale entre les sous-groupes de patients déduits… nous Nous avons de nombreuses possibilités d’améliorer les modèles afin qu’ils fournissent un meilleur support lorsqu’ils sont utilisés.

Cette histoire est republiée avec l’aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l’actualité de la recherche, de l’innovation et de l’enseignement du MIT.