Le théorème sans unité identifie les variables clés pour les modèles d’IA et de physique

Les modèles d’apprentissage automatique sont conçus pour intégrer des données, trouver des modèles ou des relations au sein de ces données et utiliser ce qu’ils ont appris pour faire des prédictions ou créer du nouveau contenu. La qualité de ces résultats dépend non seulement des détails du fonctionnement interne d’un modèle, mais aussi, et surtout, des informations qui alimentent le modèle.

Certains modèles suivent une approche par force brute, ajoutant essentiellement toutes les données liées à un problème particulier dans le modèle et voyant ce qui en ressort. Mais une manière plus élégante et moins gourmande en énergie d’aborder un problème consiste à déterminer quelles variables sont vitales pour le résultat et à fournir au modèle uniquement des informations sur ces variables clés.

Aujourd’hui, Adrián Lozano-Durán, professeur agrégé d’aérospatiale à Caltech et professeur invité au MIT, et Yuan Yuan, étudiant diplômé du MIT, ont développé un théorème qui prend un certain nombre de variables possibles et les réduit, ne laissant que celles qui sont les plus importantes. Ce faisant, le modèle supprime toutes les unités, telles que les mètres et les pieds, des équations sous-jacentes, les rendant ainsi sans dimension, ce que les scientifiques exigent des équations qui décrivent le monde physique. Les travaux peuvent être appliqués non seulement à l’apprentissage automatique mais à n’importe quel modèle mathématique.

“Le théorème que nous avons dérivé vous indiquera, même pour un ensemble d’entrées ayant des dimensions, comment construire des entrées sans dimension contenant le maximum d’informations sur ce que vous souhaitez prédire”, explique Lozano-Durán. “Il vous indiquera également le pourcentage d’erreur sur la meilleure prédiction possible que vous pouvez faire avec ces informations.”

Lozano-Durán et Yuan décrivent leur nouvelle méthode dans un article paru dans la revue Communications naturelles.

Selon Lozano-Durán, pour de nombreux modèles physiques, il est possible d’avoir un ensemble de milliers, voire de millions de variables liées d’une manière ou d’une autre à une prédiction que vous souhaitez faire. Mais toutes ces variables ne seront pas également utiles pour faire une prédiction.

Considérons le problème de la prévision de la température de demain à Pasadena. Un modèle pour ce problème pourrait inclure des milliers de variables, depuis les mesures de la pression barométrique et de la vitesse du vent à plusieurs moments et emplacements, jusqu’aux lectures des températures au-dessus de la mer par les bouées océaniques, jusqu’aux mesures par satellite de la vapeur d’eau.

Supposons maintenant que vous décidiez également d’inclure les numéros de permis de conduire de chaque conducteur en Californie. Ces chiffres représentent davantage de données à prendre en compte par le modèle : beaucoup de données. Mais cela n’a rien à voir avec la question du temps qu’il fera demain.

L’exemple peut paraître idiot, mais il montre clairement ce que la nouvelle méthode vise à faire : supprimer les variables qui ne contiennent pas d’informations qui aideront un modèle à faire la meilleure prédiction possible.

“Pourquoi tous les numéros de licence ne sont-ils pas utiles pour prédire la température demain ? Parce qu’ils ne contiennent aucune information sur la température. Et c’est la clé”, explique Lozano-Durán. “Lorsque nous ajoutons des variables d’entrée, il y a des informations cachées sur ce que vous voulez prédire, et ces informations sont ce que vous devez extraire. La qualité de votre prédiction est liée à la quantité d’informations que votre entrée contient sur votre sortie.”

Lozano-Duran et Yuan appellent leur nouvelle méthode IT-π, où IT signifie théorie de l’information, sur laquelle la méthode est construite. Pour une variable donnée, la méthode calcule la quantité d’informations contenues dans la sortie qui peut être obtenue à partir de cette entrée. IT-π représente la relation entre l’entrée et la sortie sous la forme d’un diagramme de Venn, où l’entrée est un cercle et la sortie un autre.

La méthode cherche à déterminer dans quelle mesure ces cercles se chevauchent pour chaque variable. S’il n’y a pas de chevauchement, il n’y a pas de prédiction. S’ils se chevauchent complètement, l’entrée prédit entièrement la sortie. La méthode combine les variables de différentes manières et mesure le chevauchement pour chacun de ces scénarios, pour finalement atteindre le chevauchement le plus élevé possible.

“Lorsque nous ne pouvons plus augmenter le chevauchement, la méthode a trouvé les meilleures variables possibles”, explique Lozano-Durán.

Dans le nouvel article, Lozano-Durán et Yuan utilisent la nouvelle méthode pour faire diverses prédictions. Dans un exemple, ils voulaient déterminer quelles entrées alimenter un réseau neuronal utilisé pour calculer le flux de chaleur (dans quelle mesure la température subie par une capsule spatiale changerait) lors de son entrée dans l’atmosphère martienne. Les chercheurs ont eu accès à des données sur 20 variables différentes pouvant être incluses, telles que la vitesse et la température à différents endroits.

En fin de compte, leur analyse leur a dicté qu’ils n’avaient besoin que de données combinées en deux variables construites sous forme de rapports de flux caractéristiques, tels que la chaleur et la masse, ou d’autres termes physiques tels que les énergies et les échelles de temps. Ces variables capturent l’importance relative des processus concurrents.

Aucune unité nécessaire

Il est important de noter, note Lozano-Durán, que les variables qui ressortent de son nouveau théorème sont sans dimension. Il existe un concept mathématique fondamental en physique appelé théorème de Buckingham π qui dit que lorsque vous construisez un modèle sur le monde réel, vous devriez être capable de réécrire toutes ses équations sous une forme où aucune des variables ne dépend des unités de mesure utilisées. Edgar Buckingham, le physicien américain du début du XXe siècle qui a donné son nom à la théorie, a fourni une manière formalisée de transformer les équations pour arriver à de tels paramètres dits sans dimension.

“Toutes les équations de la physique doivent suivre cette propriété. Si vous changez les unités, l’équation reste la même”, explique Lozano-Durán. Par exemple, la force gravitationnelle entre la Terre et le soleil ne doit pas dépendre du fait que la distance entre les deux corps soit mesurée en miles ou en kilomètres, ou que les masses soient mesurées en livres ou en kilogrammes. “Si vous voyez une équation dans laquelle vous changez les unités et que l’équation est différente, il y a quelque chose qui ne va pas.”

Revenant à l’exemple du vaisseau spatial martien de Lozano-Durán, le théorème de Buckingham π dit que sept variables, au lieu de deux, sont nécessaires pour déterminer le flux de chaleur. Selon Lozano-Durán, un chercheur devrait réaliser quelque 2 000 expériences pour rassembler les données requises pour ces sept variables et créer un modèle très simple de flux de chaleur.

“D’après nos résultats, neuf expériences suffisent”, dit-il. L’outil a également indiqué aux chercheurs qu’en réalisant ces neuf expériences, ils pourraient avoir une certitude de 92 % qu’ils étaient parvenus à la prédiction correcte du flux thermique.

La méthode IT-π peut permettre d’économiser du temps, de l’énergie et de l’argent, dit-il. En particulier, la technique pourrait réduire la quantité de données nécessaires pour entraîner plus rapidement les modèles d’IA tout en utilisant moins d’électricité.

“Aujourd’hui, surtout dans ces modèles d’apprentissage automatique qui sont une sorte de grosse boîte noire, il est très important de s’assurer que tout ce que vous leur donnez a du sens”, dit-il. “Plus vous avez de variables en entrée, plus vous avez besoin de données d’entraînement. Vous souhaitez donc avoir le nombre minimum de variables sans affecter les performances de votre modèle.”