Un cadre pour former des robots polyvalents à usage domestique

Depuis plusieurs années, les roboticiens tentent de développer des robots capables d’effectuer diverses tâches ménagères quotidiennes, comme faire la vaisselle ou ranger. Cependant, jusqu’à présent, aucun des robots créés n’a été commercialisé et adopté à grande échelle.

Des chercheurs de l'Université de New York ont ​​récemment présenté Dobb-E, un nouveau cadre spécialement conçu pour entraîner efficacement les robots mobiles aux tâches domestiques, contribuant ainsi à leur future utilisation généralisée. Ce cadre, décrit dans un article pré-publié sur le serveur arXivpourrait être appliqué à divers robots conçus pour assister les humains à la maison.

“Cet article est né de notre vision d'introduire des robots dans le foyer américain moyen dans un avenir proche”, a déclaré Lerrel Pinto, co-auteur de l'article, à Tech Xplore. “Nous avons déjà des “robots” spécialisés dans nos maisons, comme un lave-vaisselle ou une machine à laver, mais un robot généraliste capable d'apprendre comment effectuer chaque devoir et comment il peut aider au mieux dans cette situation est un objectif lointain pour ça fait trop longtemps maintenant.”

Les travaux récents de Pinto et de ses collègues avaient une série d'objectifs principaux, qui devraient tous être atteints pour que les robots soient intégrés avec succès dans les environnements domestiques. Premièrement, l’équipe souhaitait concevoir une approche efficace qui permettrait aux utilisateurs d’enseigner rapidement de nouvelles compétences aux robots.

Cette approche devrait également garantir la sécurité des robots, en garantissant qu'ils ne causent aucun dommage pendant qu'ils apprennent à accomplir de nouvelles tâches. Enfin, il ne doit pas être particulièrement exigeant pour les utilisateurs finaux, garantissant ainsi qu'il simplifie plutôt que ne complique leur vie.

« Pour atteindre l'efficacité, nous nous sommes appuyés sur des systèmes d'apprentissage basés sur les données, dont le succès est facilement visible dans les plus grands modèles d'apprentissage automatique déployés aujourd'hui », a déclaré Pinto. “Nous atteignons la sécurité en formulant notre système autour de l'apprentissage sous la supervision de l'utilisateur plutôt que par essais et erreurs. Enfin, nous avons développé un outil de collecte de démonstrations ergonomiques, nous permettant de rassembler des démonstrations spécifiques à des tâches dans des maisons inconnues sans utilisation directe du robot. “.

Le framework Dobb-E comprend quatre composants clés, à savoir un outil de collecte de données, un modèle pré-entraîné, un ensemble de données diversifié et un schéma de déploiement. Le premier de ces composants, appelé « Stick », est conçu pour simplifier la collecte de données, en exploitant le smartphone de l'utilisateur.

“Le Stick est notre outil de collecte de données bon marché mais ergonomique, que nous construisons à partir d'un outil de préhension, de supports imprimés en 3D et d'un iPhone pro”, a déclaré Pinto. “Une simple liste d'ingrédients rend cet outil accessible et bon marché, tandis que l'iPhone monté nous permet d'enregistrer des vidéos haute résolution, des informations sur la profondeur et les mouvements des démonstrations.”

À l’aide de l’outil de collecte de données Stick, Pinto et ses collègues ont compilé un nouvel ensemble de données pour la formation des robots domestiques, qu’ils ont appelé l’ensemble de données Homes of New York (HoNY). Cet ensemble de données contient des images collectées à l'aide de leur configuration basée sur un smartphone dans 216 environnements domestiques à New York.

Contrairement à d’autres ensembles de données pour la formation des robots développés dans le passé, l’ensemble de données HoNY se concentre sur un ensemble plus diversifié de scènes et de comportements de robots. De plus, l’outil de collecte Stick leur a permis de compiler un ordre de grandeur plus de scènes que celles présentées dans les ensembles de données précédents.

Le troisième composant du système Dobb-E est un modèle de perception pré-entraîné. Ce modèle a été formé sur l'ensemble de données HoNY, en utilisant une approche d'apprentissage auto-supervisée.

“Nous formons des représentations pré-entraînées à domicile (HPR) comme modèle de reconnaissance visuelle en utilisant l'ensemble de données HoNY et un algorithme d'apprentissage auto-supervisé de pointe, MoCo-v3”, a expliqué Pinto. “HPR permet à notre méthode de s'adapter à des scènes très différentes dans différentes maisons.”

Pinto et ses collègues ont évalué le potentiel de leur outil de collecte de données, de leur ensemble de données HoNY et de leur modèle de reconnaissance visuelle pré-entraîné dans une série d'expériences dans des environnements domestiques réels. Dans ces expériences, ils ont déployé leur algorithme entraîné sur le Hello Robot Stretch, un robot domestique mobile multifonction prometteur.

Remarquablement, le robot a appris à accomplir 109 tâches ménagères différentes. Pour chacune de ces tâches, les chercheurs ont affiné leur modèle avec cinq minutes de nouvelles données vidéo en moyenne.

“Le résultat le plus intéressant de cet article est la confirmation qu'avec notre niveau actuel de technologie, nous pouvons construire des agents robotiques instruits capables d'effectuer un large éventail de tâches dans un éventail tout aussi large de foyers”, a déclaré Pinto.

“Dobb-E est un projet de recherche de pointe, mais en développant ce projet et en construisant un échafaudage approprié autour de lui, nous pouvons nous attendre à ce qu'il devienne les premiers pas vers un assistant général à domicile capable d'aider les personnes âgées et les personnes handicapées. , ou simplement des parents occupés. Cependant, pour arriver là où nous en sommes, il faut beaucoup plus de travail à la fois pour améliorer les capacités et (polissage) pour le rendre plus convivial. “

Le framework Dobb-E constitue une grande contribution aux efforts en cours visant à permettre le déploiement généralisé de robots domestiques multifonctions. Les premières expériences de l'équipe ont donné des résultats très prometteurs, tout en mettant en évidence certains des facteurs clés affectant les performances des robots domestiques.

À l’avenir, ces travaux récents pourraient éclairer le développement de systèmes de robots domestiques de plus en plus avancés. Pinto et ses collègues ont rendu public leur outil de collecte de données, leur ensemble de données et leur modèle pré-entraîné. D'autres équipes de recherche pourraient donc bientôt les utiliser ou les adapter dans le cadre de leurs propres études.

“Bien que Dobb-E aborde l'apprentissage de compétences de bas niveau dans une variété de scénarios différents, il ne répond pas au besoin d'un planificateur ou d'une politique de niveau supérieur reliant ces compétences entre elles pour accomplir diverses tâches à la maison”, a ajouté Pinto.

“L'une de nos orientations futures devrait être d'enchaîner les compétences pour accomplir des tâches significatives à long terme dans les maisons. Une autre orientation que nous souhaitons étudier consiste à améliorer les capteurs du Stick et du robot, et potentiellement à réitérer notre détection de profondeur. , en ajoutant davantage de vues de caméra et en ajoutant davantage de modalités de capteurs telles que le toucher et les sons. »

© 2023 Réseau Science X