Google SIMA (Scalable Instructable Multiworld Agent) est un agent génératif d’IA développé par Google DeepMind. Google SIMA est entraîné dans des environnements virtuels en 3D pour accomplir des tâches de jeu de base en suivant des instructions en langage naturel données par l’utilisateur.
Selon Google, l’objectif final est de rendre les agents SIMA plus avancés afin qu’ils puissent exécuter en toute sécurité des tâches complexes dans les jeux vidéo et, éventuellement, dans le monde réel.
D’autres sections expliquent le fonctionnement de la LMSI et ses cas d’utilisation, comme indiqué ci-dessous.
- Comment fonctionne la LMSI ?
- Comment la LMSI a-t-elle été formée ?
- Utiliser la LMSI comme agent d’intelligence artificielle dans les jeux
- La LMSI peut-elle jouer à des jeux avec vous ?
- Perspectives d’avenir de la LMSI
Comment fonctionne SIMA ?
L’IA SIMA fonctionne à partir de deux entrées simples : le traitement d’images (de jeu) et les commandes linguistiques en temps réel fournies par le joueur. Cette IA de Google n’a besoin d’aucune autorisation pour effectuer une série de tâches telles que la modification des codes sources du jeu, des API ou des privilèges spéciaux pour fonctionner en tant qu’assistant de jeu.
The current version of SIMA is evaluated across 600 basic skills, spanning navigation (e.g. “turn left”), object interaction (“climb the ladder”), and menu use (“open the map”). We’ve trained SIMA to perform simple tasks that can be completed within about 10 seconds.
Google DeepMind
Au cœur de SIMA, il y a deux modèles : l’un pour le mappage image-langage et l’autre pour la prédiction vidéo. Le premier modèle d’IA aide principalement la SIMA à comprendre les commandes en langage naturel et leur relation avec le contenu visuel à l’écran. Le modèle vidéo aide la SIMA à prédire les événements futurs afin qu’elle puisse planifier ses actions de jeu à l’avance.
Avec ces deux modèles d’IA, la SIMA relie les observations visuelles et les instructions linguistiques pour effectuer des tâches de jeu courtes (<10 secondes) avec des actions au clavier et à la souris.
Avoir SIMA à vos côtés sera presque similaire à avoir un humain qui joue en votre nom. Cependant, cet outil de jeu IA n’a pas pour but de “réaliser des scores élevés” pour l’instant. L’objectif est d’introduire progressivement l’intelligence artificielle dans les jeux et de passer ultérieurement aux complications des environnements virtuels.
Comment SIMA a-t-il été entraîné ?
SIMA a été entraîné sur neuf jeux vidéo commerciaux différents, tels que No Man’s Sky de Hello Games, Teardown de Tuxedo Labs et Valheim d’Iron Gate. Les développeurs ont choisi d’entraîner SIMA sur des jeux ouverts et des jeux en bac à sable pour aider l’IA à apprendre un large éventail de compétences de jeu élémentaires, notamment la navigation, le tir, le creusement, la conduite, l’artisanat, etc.
La formation de SIMA s’est concentrée sur des jeux à la première ou à la troisième personne, tout en évitant les jeux d’une extrême violence. En outre, les jeux commerciaux choisis pour la formation présentaient des environnements variés mais possédaient des mécanismes de jeu distincts et approfondis qui leur étaient propres.
En plus de la formation basée sur les jeux, Google a utilisé 4 environnements de jeu IA avec différents défis générés de manière procédurale pour vérifier les compétences de SIMA en matière de manipulation d’objets et sa perception générale du monde physique dans un environnement contrôlé.
Un élément essentiel de la formation de SIMA est le clonage comportemental, où les agents d’IA apprennent en observant des données générées par des joueurs experts. Cet ensemble de données comprend des vidéos de jeu, des instructions, des annotations, etc.
Utiliser SIMA comme agent d’intelligence artificielle dans les jeux
SIMA fait actuellement l’objet de recherches et son utilisation en tant qu’agent d’intelligence artificielle n’est pas destinée à exceller dans les classements de jeux, car elle en est encore à un stade très élémentaire : se déplacer, ramasser des outils, monter à bord d’un véhicule, etc. En fait, il n’est pas encore disponible pour des tests bêta publics, et il n’y a pas d’option pour déployer Google SIMA à un niveau de jeu individuel ou commercial.
Cependant, l’intégration de SIMA ne nécessitera que peu de compétences techniques lorsqu’elle sera disponible. Cette IA de jeu ne prend en compte que deux éléments : les images et les instructions linguistiques, sans aucun accès au niveau racine. Elle est presque similaire à la façon dont les humains interagissent avec les jeux, ce qui confirme les possibilités étendues de la LMSI parmi les joueurs.
La LMSI peut-elle jouer avec vous ?
Oui, en théorie, la LMSI devrait jouer avec vous lorsqu’elle sera disponible dans le commerce.
Bien qu’il ne puisse pas jouer au même niveau que les joueurs humains experts, les joueurs devraient bénéficier des capacités de la LMSI à effectuer des tâches de jeu de base ou à rejouer des fractions chaque fois que cela est nécessaire.
Perspectives d’avenir de la LMSI
Les développeurs ont évalué SIMA pour 1 485 tâches de jeu uniques dans neuf catégories de compétences, dont le mouvement, la navigation simple, la collecte de ressources, la manipulation d’objets, etc.
Les résultats de cette étude préliminaire suggèrent des taux de réussite louables pour de tels agents multi-mondes instructifs dans l’accomplissement de tâches simples dans ces mondes virtuels. Par exemple, SIMA a démontré un large éventail de compétences, telles que la navigation de base et l’interaction avec les objets, même lorsque la cible n’est pas en vue immédiate. Cela indique une compréhension intuitive de ces environnements de formation, ce qui place SIMA loin devant les grands modèles de langage tels que ChatGPT dans l’apprentissage et la comparaison avec les performances humaines.
Cependant, une formation plus poussée est nécessaire pour que ces agents d’IA de jeu puissent mener à bien des interactions complexes.
Comparé aux humains, SIMA a obtenu des résultats raisonnables. Par exemple, SIMA a réussi 34% du temps, alors que les humains ont réussi 60% du même sous-ensemble de tâches du jeu No Man’s Sky.
La formation confirme également que SIMA peut fonctionner correctement en tant qu’agent d’IA généralisé. Cela signifie que les développeurs n’ont pas besoin de former SIMA à tous les autres jeux. Cela a été validé dans leur rapport technique, où les agents d’IA formés sur plusieurs jeux sont plus performants que les agents formés sur un seul jeu. Même les agents formés à des jeux inédits (c’est-à-dire des jeux pour lesquels ils n’ont pas reçu de formation préalable) ont obtenu des résultats proches de ceux des agents spécialisés dans l’environnement.
In our evaluations, SIMA agents trained on a set of nine 3D games from our portfolio significantly outperformed all specialized agents trained solely on each individual one.
SIMA Developers
Par conséquent, cela peut se traduire par un avenir où Google pourrait mettre sur le marché un agent SIMA unique et universel pour toutes sortes de jeux ou, à tout le moins, des agents SIMA pour des genres de jeux spécifiques. Dans ce cas, il peut s’agir d’un service par abonnement que les utilisateurs peuvent simplement intégrer aux jeux.
En outre, Google peut s’associer à des studios de jeux pour regrouper SIMA et lancer des versions spéciales, assistées par l’IA, de jeux populaires.
Toutefois, Google a fait part de son intention de développer des systèmes d’IA utiles non seulement dans les environnements virtuels en 3D, tels que les jeux, mais aussi dans la vie réelle et physique.
À titre d’hypothèse, je prédis que l’application ultime de la LMSI sera des robots d’assistance qui nous aideront dans nos tâches quotidiennes.