Un nouveau modèle pour planifier et contrôler les mouvements des humanoïdes dans des environnements 3D
Planification de trajectoire et contrôle de mouvement PlaMo anime un humanoïde dans une scène 3D complexe. L’entrée consiste en une scène 3D simulée physiquement et une série d’instructions textuelles décrivant des points de repère de navigation de haut niveau et le type de locomotion (« Crouch-walk from the tree to the swing »). La scène peut contenir divers terrains (gravier, escaliers), des obstacles 3D et des obstacles dynamiques (ici, une balle verte). La sortie est une séquence d’actionnements moteurs contrôlant un personnage humanoïde. PlaMo produit un chemin planifié ainsi qu’un profil de hauteur de tête et de vitesse qui correspond au guidage textuel (type de locomotion) et aux contraintes du contrôleur de mouvement. Crédit : Hallak et al.
Les humanoïdes, des systèmes robotiques ou virtuels dont la structure corporelle ressemble à celle du corps humain, ont de nombreuses applications dans le monde réel. Comme leurs membres et leur corps sont identiques à ceux des humains, ils pourraient être conçus pour reproduire une grande variété de mouvements humains, comme marcher, s’accroupir, sauter, nager, etc.
La génération informatique de mouvements réalistes pour des personnages humanoïdes virtuels pourrait avoir des implications intéressantes pour le développement de jeux vidéo, de films d’animation, d’expériences de réalité virtuelle (RV) et d’autres contenus multimédias. Pourtant, les environnements représentés dans les jeux vidéo et les animations sont souvent très dynamiques et complexes, ce qui peut rendre plus difficile la planification des mouvements des humanoïdes introduits dans ces environnements.
Des chercheurs de NVIDIA Research en Israël ont récemment présenté PlaMo (Plan and Move), une nouvelle approche informatique permettant de planifier les mouvements des humanoïdes dans des mondes complexes, simulés physiquement en 3D. Leur approche, présentée dans un article publié sur arXiv serveur de préimpression, composé d’un planificateur de chemin sensible à la scène et d’une politique de contrôle robuste.
« Contrôler des humanoïdes dans des mondes complexes simulés physiquement est un défi de longue date avec de nombreuses applications dans les jeux, la simulation et la création de contenu visuel », ont écrit Assaf Hallak, Gal Dalal et leurs collègues dans leur article.
« Dans notre configuration, étant donné une scène 3D riche et complexe, l’utilisateur fournit une liste d’instructions composée d’emplacements cibles et de types de locomotion. Pour résoudre cette tâche, nous présentons PlaMo, un planificateur de chemin sensible à la scène et un contrôleur robuste basé sur la physique. »
La plupart des études précédentes visant à planifier les mouvements de personnages humanoïdes dans des environnements simulés en 3D se sont concentrées sur le développement d’un planificateur ou d’un contrôleur plutôt que des deux. Comme les tâches que ces deux types de modèles effectuent (c’est-à-dire la planification et l’exécution des mouvements d’un humanoïde) sont interdépendantes, Hallak, Dalal et leurs collègues ont entrepris de concevoir une approche informatique qui les aborde tous les deux.
« Le planificateur de trajectoire produit une séquence de trajectoires de mouvement, en tenant compte des diverses limitations imposées par la scène au mouvement, telles que l’emplacement, la hauteur et la vitesse », ont écrit Hallak, Dalal et leurs collègues. « En complément du planificateur, notre politique de contrôle génère un mouvement physique riche et réaliste adhérant au plan. »
Les chercheurs ont testé PlaMo dans une série de simulations, en l’utilisant pour planifier et exécuter les mouvements de l’humanoïde SMPL, un agent virtuel humanoïde doté d’une structure corporelle neutre (c’est-à-dire sans traits du visage, cheveux, vêtements, etc.). Ils ont exécuté leurs simulations sur IsaacGym, un environnement de simulation basé sur la physique pour l’apprentissage par renforcement développé chez NVIDIA.
Les résultats de ces tests se sont révélés très prometteurs, car l’approche PlaMo s’est avérée efficace pour planifier et exécuter les mouvements des humanoïdes SMPL dans des paysages simulés complexes, en suivant des instructions textuelles. Il a notamment été constaté que le composant de planification de l’approche prenait en compte les mouvements du personnage humanoïde sur des terrains accidentés, ainsi que les obstacles statiques et dynamiques dans l’environnement.
Le contrôleur de mouvement s’est avéré, à son tour, capable de suivre de manière fiable les chemins planifiés par le planificateur, en exécutant des mouvements complexes et adaptés à la scène pour les humanoïdes, comme ramper sous un plafond bas ou se déplacer rapidement pour éviter un obstacle qui s’approche.
Dans l’ensemble, la combinaison des deux modules s’est avérée très efficace, produisant des mouvements réalistes en réponse aux changements de l’environnement.
« PlaMo se concentre sur la planification et le contrôle », ont écrit Hallak, Dalal et leurs collègues. « Il ouvre des possibilités de combinaison avec des modèles de langage modernes et la compréhension de scènes en 3D. Avec ces extensions à l’esprit, nous voyons PlaMo comme un tremplin vers un système beaucoup plus vaste où des personnages non jouables (PNJ) se voient attribuer des rôles à jouer, formant ainsi un monde virtuel simulé riche. »
Plus d’information:
Assaf Hallak et al, PlaMo : Planifier et se déplacer dans des environnements physiques 3D riches, arXiv (2024). DOI: 10.48550/arxiv.2406.18237
arXiv
© 2024 Réseau Science X
Citation:Un nouveau modèle pour planifier et contrôler les mouvements des humanoïdes dans des environnements 3D (2024, 10 juillet) récupéré le 10 juillet 2024 à partir de
Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans autorisation écrite. Le contenu est fourni à titre d’information uniquement.