Google SIMA (Scalable Instructable Multiworld Agent) ist ein generativer KI-Agent, der von Google DeepMind entwickelt wurde. Google SIMA wird in virtuellen 3D-Umgebungen darauf trainiert, grundlegende Spielaufgaben zu erledigen, indem er den Anweisungen des Benutzers in natürlicher Sprache folgt.
Laut Google besteht das Ziel darin, die SIMA-Agenten weiterzuentwickeln, damit sie komplizierte Aufgaben in Videospielen und möglicherweise auch in der realen Welt sicher ausführen können.
In den folgenden Abschnitten wird erklärt, wie SIMA funktioniert und welche Anwendungsfälle es gibt.
- Wie funktioniert SIMA?
- Wie wurde SIMA trainiert?
- Verwendung von SIMA als KI-Agent in Spielen
- Kann SIMA mit Ihnen Spiele spielen?
- Zukunftsperspektiven der SIMA
Wie funktioniert SIMA?
Die SIMA-KI arbeitet mit zwei einfachen Eingaben: (Spiel-)Bildverarbeitung und vom Spieler bereitgestellte Sprachbefehle in Echtzeit. Diese Google-KI benötigt keine Erlaubnis, um eine Reihe von Aufgaben auszuführen, wie z.B. die Modifizierung der Spiel-Quellcodes, APIs oder besondere Privilegien, um als Spielassistent zu funktionieren.
The current version of SIMA is evaluated across 600 basic skills, spanning navigation (e.g. “turn left”), object interaction (“climb the ladder”), and menu use (“open the map”). We’ve trained SIMA to perform simple tasks that can be completed within about 10 seconds.
Google DeepMind
Im Kern verfügt SIMA über zwei Modelle: eines für die Bild-Sprach-Zuordnung und das andere für die Videovorhersage. Das erste KI-Modell hilft SIMA in erster Linie dabei, Befehle in natürlicher Sprache und ihre Beziehung zu den visuellen Inhalten auf dem Bildschirm zu verstehen. Das Videomodell hilft der SIMA bei der Vorhersage zukünftiger Ereignisse, so dass sie ihre Spielaktionen im Voraus planen kann.
Mit diesen beiden KI-Modellen verknüpft SIMA visuelle Beobachtungen und Sprachanweisungen, um kurze Spielaufgaben (<10 Sekunden) mit Tastatur- und Mausaktionen auszuführen.
Wenn Sie SIMA an Ihrer Seite haben, ist das fast so, als würde ein Mensch für Sie spielen. Allerdings geht es bei diesem KI-Gaming-Tool noch nicht darum, “hohe Spielstände zu erreichen”. Die Absicht ist, die künstliche Intelligenz langsam an das Spielen heranzuführen und in späteren Phasen zu den Komplikationen virtueller Umgebungen überzugehen.
Wie wurde SIMA trainiert?
SIMA wurde an neun verschiedenen kommerziellen Videospielen trainiert, darunter No Man’s Sky von Hello Games, Teardown von Tuxedo Labs und Valheim von Iron Gate. Die Entwickler haben sich dafür entschieden, SIMA mit Open-World- und Sandbox-Spielen zu trainieren, damit die KI eine breite Palette elementarer Spielfähigkeiten erlernen kann, darunter Navigieren, Schießen, Graben, Fahren, Basteln usw.
Das Training von SIMA konzentrierte sich auf Spiele in der ersten oder dritten Person, wobei Spiele mit extremer Gewalt vermieden wurden. Außerdem waren die für das Training ausgewählten kommerziellen Spiele in unterschiedlichen Umgebungen angesiedelt, hatten aber eine eigene, tiefgreifende Spielmechanik.
Zusätzlich zum spielbasierten Training verwendete Google 4 KI-Spielumgebungen mit verschiedenen prozedural erzeugten Herausforderungen, um SIMAs Fähigkeiten im Umgang mit Objekten und seine allgemeine Wahrnehmung der physischen Welt in einer kontrollierten Umgebung zu überprüfen.
Ein wichtiger Bestandteil des SIMA-Trainings ist das Klonen von Verhaltensweisen, bei dem KI-Agenten durch die Beobachtung von durch Experten generierten Spieldaten lernen. Dieser Datensatz umfasste Spielvideos, Anweisungen, Anmerkungen und mehr.
Einsatz von SIMA als KI-Agent in Spielen
SIMA befindet sich derzeit noch in der Forschungsphase und wird nicht als KI-Agent eingesetzt, um in Spiele-Ranglisten zu glänzen, da sie sich noch in einem sehr elementaren Stadium befindet, d.h. sie kann sich bewegen, Werkzeuge aufnehmen, ein Fahrzeug besteigen, usw. Tatsächlich ist sie noch nicht für öffentliche Betatests verfügbar und es gibt keine Möglichkeit, Google SIMA auf individueller oder kommerzieller Spielebene einzusetzen.
Die Integration von SIMA würde jedoch nur geringe technische Fähigkeiten erfordern, wenn sie veröffentlicht wird. Diese Spiele-KI benötigt nur zwei Eingaben: visuelle und sprachliche Anweisungen, ohne dass ein Root-Level-Zugriff erforderlich ist. Das ist fast so, wie Menschen mit Spielen interagieren, was die weitreichenden Möglichkeiten von SIMA unter Spielern bestätigt.
Kann SIMA Spiele mit Ihnen spielen?
Ja, theoretisch kann die SIMA mit Ihnen spielen, sobald sie im Handel erhältlich ist.
Auch wenn SIMA vielleicht nicht auf Augenhöhe mit erfahrenen menschlichen Spielern spielt, sollten Spieler von den Fähigkeiten von SIMA profitieren, grundlegende Spielaufgaben zu erledigen oder Brüche nachzuspielen, wann immer es nötig ist.
Zukunftsperspektiven der SIMA
Die Entwickler bewerteten SIMA für 1.485 einzigartige Spielaufgaben in neun Fähigkeitskategorien, darunter Bewegung, einfache Navigation, Ressourcensammeln, Objektmanipulation und mehr.
Die Ergebnisse dieser frühen Forschungsstudie deuten auf lobenswerte Erfolgsquoten für solche anweisbaren Multi-World-Agenten bei der Erledigung einfacher Dinge in diesen virtuellen Welten hin. So zeigte SIMA beispielsweise eine breite Palette von Fähigkeiten, wie grundlegende Navigation und Objektinteraktion, selbst wenn das Ziel nicht in unmittelbarer Sichtweite ist. Dies deutet auf ein intuitives Verständnis dieser Trainingsumgebungen hin, wodurch SIMA großen Sprachmodellen wie ChatGPT beim Lernen und Anpassen an die menschliche Leistung weit voraus ist.
Allerdings ist weiteres Training erforderlich, damit diese KI-Agenten komplexe Interaktionen durchführen können.
Im Vergleich zu Menschen hat SIMA recht gut abgeschnitten. So war SIMA beispielsweise in 34% der Fälle erfolgreich, während Menschen 60% der gleichen Aufgaben aus dem Spiel No Man’s Sky meisterten.
Das Training bestätigt auch, dass SIMA als generalisierter KI-Agent gute Leistungen erbringen kann. Das bedeutet, dass Entwickler SIMA nicht auf jedes andere Spiel trainieren müssen. Dies wurde in ihrem technischen Bericht bestätigt, in dem KI-Agenten, die auf mehrere Spiele trainiert wurden, besser abschnitten als Agenten, die auf ein einziges Spiel trainiert wurden. Sogar Agenten für unbekannte Spiele (d.h. Spiele, für die sie nicht trainiert wurden) schnitten ähnlich gut ab wie die auf die Umgebung spezialisierten Agenten.
In our evaluations, SIMA agents trained on a set of nine 3D games from our portfolio significantly outperformed all specialized agents trained solely on each individual one.
SIMA Developers
In Zukunft könnte Google also einen einzigen, universellen SIMA-Agenten für alle Arten von Spielen oder zumindest SIMA-Agenten für bestimmte Spielgenres herausbringen. In solchen Fällen kann es sich um einen abonnementbasierten Dienst handeln, den die Nutzer einfach in die Spiele integrieren können.
Darüber hinaus kann Google mit Spielestudios zusammenarbeiten, um SIMA zu bündeln und spezielle, KI-gestützte Versionen beliebter Spiele auf den Markt zu bringen.
Google hat jedoch die Absicht geäußert, KI-Systeme zu entwickeln, die nicht nur in virtuellen 3D-Umgebungen, wie z.B. in Spielen, sondern auch im realen, physischen Leben hilfreich sind.
Als wilde Vermutung sage ich voraus, dass die ultimative SIMA-Anwendung Assistenzroboter sein werden, die uns bei unseren täglichen Aufgaben helfen können.