Google SIMA (Scalable Instructable Multiworld Agent) es un agente generativo de IA desarrollado por Google DeepMind. Google SIMA se entrena en entornos 3D virtuales para realizar tareas básicas de juego siguiendo instrucciones en lenguaje natural dadas por el usuario.
Según Google, el objetivo final es hacer que los agentes SIMA sean más avanzados para que puedan realizar con seguridad tareas complicadas dentro de los videojuegos y, potencialmente, en el mundo real.
A continuación se explica cómo funciona SIMA y sus casos de uso.
- ¿Cómo funciona SIMA?
- ¿Cómo se entrenó a SIMA?
- Uso de SIMA como agente de IA en los juegos
- ¿Puede SIMA jugar con usted?
- Perspectivas de futuro de SIMA
¿Cómo funciona SIMA?
La IA de SIMA funciona tomando dos entradas sencillas: el procesamiento de imágenes (del juego) y las órdenes lingüísticas en tiempo real proporcionadas por el jugador. Esta IA de Google no necesita permisos para realizar una serie de tareas como modificar los códigos fuente del juego, las API o privilegios especiales para funcionar como asistente de juego.
The current version of SIMA is evaluated across 600 basic skills, spanning navigation (e.g. «turn left»), object interaction («climb the ladder»), and menu use («open the map»). We’ve trained SIMA to perform simple tasks that can be completed within about 10 seconds.
Google DeepMind
En su núcleo, SIMA cuenta con dos modelos: uno para el mapeo imagen-idioma y otro para la predicción de vídeo. El primer modelo de IA ayuda principalmente a SIMA a comprender las órdenes en lenguaje natural y su relación con el contenido visual en pantalla. El modelo de vídeo ayuda a la SIMA a predecir acontecimientos futuros para que pueda planificar por adelantado sus acciones de juego.
Con estos dos modelos de IA, SIMA conecta las observaciones visuales y las instrucciones lingüísticas para realizar tareas de juego cortas (<10 segundos) con acciones de teclado y ratón.
Tener a SIMA a su lado será casi similar a tener a un humano jugando en su lugar. Sin embargo, esta herramienta de juego con inteligencia artificial no consiste por ahora en «conseguir altas puntuaciones en los juegos». La intención es introducir poco a poco la inteligencia artificial en el juego y pasar a las complicaciones de los entornos virtuales en fases posteriores.
¿Cómo se entrenó a SIMA?
SIMA fue entrenada en nueve videojuegos comerciales diferentes, como No Man’s Sky de Hello Games, Teardown de Tuxedo Labs y Valheim de Iron Gate. Los desarrolladores optan por entrenar a SIMA en juegos de mundo abierto y sandboxed para que la IA aprenda una amplia gama de habilidades elementales de juego, como navegar, disparar, excavar, conducir, fabricar, etc.
El entrenamiento de SIMA se centró en juegos en primera o tercera persona y se evitaron los juegos con violencia extrema. Además, los juegos comerciales elegidos para el entrenamiento presentaban entornos variados pero tenían mecánicas de juego propias, distintas y profundas.
Además del entrenamiento basado en juegos, Google utilizó 4 entornos de juego de IA con diferentes retos generados proceduralmente para comprobar las habilidades de SIMA en el manejo de objetos y su percepción general del mundo físico en un entorno controlado.
Una pieza vital del entrenamiento de SIMA es la clonación del comportamiento, en la que los agentes de IA aprenden observando datos generados por jugadores expertos. Este conjunto de datos incluía vídeos de juego, instrucciones, anotaciones y mucho más.
Uso de SIMA como agente de IA en los juegos
SIMA se encuentra actualmente en fase de investigación, y utilizarla como agente de IA no es para destacar en las tablas de clasificación de los juegos, ya que aún se encuentra en una fase muy elemental, es decir, moverse, recoger herramientas, subirse a un vehículo, etc. De hecho, aún no está disponible para pruebas beta públicas, y no existe la opción de desplegar Google SIMA a nivel de juego individual o comercial.
Sin embargo, la integración de SIMA requerirá pocos conocimientos técnicos cuando salga al mercado. Esta IA de juego sólo toma dos entradas: instrucciones visuales y lingüísticas, sin ningún acceso a nivel de raíz. Es casi similar a la forma en que los humanos interactúan con los juegos, lo que confirma las amplias posibilidades de SIMA entre los jugadores.
¿Puede SIMA jugar con usted?
Sí, en teoría, SIMA debería jugar a juegos con usted cuando esté disponible comercialmente.
Aunque puede que no juegue a la par que los jugadores humanos de nivel experto, los jugadores deberían beneficiarse de las capacidades de SIMA para realizar tareas básicas de juego o volver a jugar fracciones siempre que sea necesario.
Perspectivas de futuro de SIMA
Los desarrolladores evaluaron SIMA para 1.485 tareas de juego únicas en nueve categorías de habilidades, incluyendo movimiento, navegación simple, recolección de recursos, manipulación de objetos y más.
Los resultados de este estudio de investigación en fase inicial sugieren unos índices de éxito encomiables para este tipo de agentes instruibles de varios mundos a la hora de hacer cosas más sencillas en estos mundos virtuales. Por ejemplo, SIMA demostró una amplia gama de habilidades, como la navegación básica y la interacción con objetos, incluso cuando el objetivo no está a la vista inmediata. Esto indica una comprensión intuitiva de estos entornos de entrenamiento, lo que sitúa a SIMA muy por delante de grandes modelos lingüísticos como ChatGPT a la hora de aprender e igualar el rendimiento humano.
Sin embargo, se necesita más entrenamiento para que estos agentes de IA de juego completen interacciones complejas.
En comparación con los humanos, SIMA obtuvo unos resultados razonablemente buenos. Por ejemplo, SIMA tuvo éxito el 34% de las veces, mientras que los humanos superaron el 60% del mismo subconjunto de tareas del juego No Man’s Sky.
El entrenamiento también confirma que SIMA puede rendir bien como agente de IA generalizada. Eso significa que los desarrolladores no necesitan entrenar a SIMA en todos los demás juegos. Esto se validó en su informe técnico, donde los agentes de IA entrenados en varios juegos superaron a los entrenados en un solo juego. Incluso los agentes para juegos desconocidos (es decir, juegos con los que no tienen entrenamiento previo) tuvieron un rendimiento muy parecido al de los agentes especializados en el entorno.
In our evaluations, SIMA agents trained on a set of nine 3D games from our portfolio significantly outperformed all specialized agents trained solely on each individual one.
SIMA Developers
En consecuencia, esto puede traducirse en un futuro en el que Google lance un agente SIMA único y universal para todo tipo de juegos o, como mínimo, agentes SIMA para géneros de juego específicos. En estos casos, puede tratarse de un servicio basado en suscripciones que los usuarios pueden integrar de forma sencilla en los juegos.
Además, Google puede asociarse con estudios de juegos para agrupar SIMA y lanzar versiones especiales asistidas por IA de juegos populares.
Sin embargo, Google transmitió la intención de desarrollar sistemas de IA que sean útiles no sólo en entornos 3D virtuales, como los juegos, sino también en la vida real y física.
Como conjetura salvaje, predigo que la aplicación definitiva de SIMA serían robots de asistencia que puedan ayudarnos en nuestras tareas cotidianas.