Adobe annonce le développement de SLM pouvant s’exécuter localement sur un téléphone sans connexion cloud

Une petite équipe de chercheurs en IA d’Adobe Inc., en collaboration avec un collègue de l’Université d’Auburn et un autre de Georgia Tech, a développé un petit modèle de langage (SLM) qui, selon eux, peut être exécuté localement sur un téléphone intelligent sans accès au cloud. . Le groupe a rédigé un article décrivant sa nouvelle application, qu’ils appellent SlimLM, et l’a publié sur le site Web. arXiv serveur de préimpression.

À mesure que la technologie LLM continue de mûrir, les chercheurs du monde entier continuent de trouver de nouvelles façons de l’améliorer. Dans ce nouvel effort, l’équipe de recherche a trouvé un moyen de couper le cordon d’un type spécifique d’application d’IA : le traitement local des documents.

À mesure que les LLM tels que ChatGPT deviennent plus populaires, les utilisateurs sont de plus en plus préoccupés par la confidentialité. Et il ne s’agit pas uniquement d’individus : les entreprises, grandes et petites, ont adopté des applications d’IA qui facilitent divers processus métier, dont certains nécessitent un degré élevé de confidentialité.

La raison pour laquelle les LLM ne sont pas privés à l’heure actuelle est qu’une partie de leur travail et une grande partie de leur stockage se trouvent sur des appareils cloud, qui peuvent être piratés. Selon les spécialistes du domaine, la solution évidente consiste à couper le cordon et à exécuter des petits modèles de langage (SLM) localement sans avoir besoin du cloud, afin de résoudre les problèmes de confidentialité.

Certains des plus grands acteurs du domaine ont travaillé dans ce sens : Google, Apple et Meta ont tous développé des applications pouvant être exécutées sans accéder au cloud. Mais jusqu’à présent, aucun n’est utilisé dans le monde réel. C’est là que SlimLM diffère, du moins selon l’équipe. Ils prévoient de rendre l’application disponible aux utilisateurs “bientôt”.

Les chercheurs reconnaissent que la raison pour laquelle leur produit peut être utilisé localement est due à sa spécificité : il ne s’agit pas d’un chatbot ni d’un outil à usage général. Au lieu de cela, il peut être utilisé pour des tâches documentaires spécifiques, telles que la création d’un résumé ou la réponse à des questions d’actualité. Cela signifie que l’application a été formée uniquement sur le traitement des documents, ce qui réduit le nombre de paramètres : la plus petite version ne fonctionne actuellement qu’avec 125 millions. Cela signifie également qu’il y a beaucoup moins de travail à faire sur le smartphone.

Les chercheurs suggèrent que leur application représente également une évolution vers des applications d’IA plus localisées et un degré de confidentialité beaucoup plus élevé pour tous les types d’applications.

© 2024 Réseau Science X