Forschende testen aktuell KI-Intelligenz mit dem Retro Game Super Mario Bros.

Das beliebte Videospiel Super Mario Bros von 1985 dient aktuell bei Forschungen des Hao AI Lab an der University Of California als Grundlage, um die Fähigkeiten von KI-Modellen weiter zu evaluieren. Vier verschiedene KI-Modelle müssen hierbei Herausforderungen meistern, Entscheidungen treffen und sich an unvorhergesehene Situationen anpassen.

Warum nutzt man ein 40 Jahre altes Retro Game für KI-Tests?

Die Motivation hinter dem Benchmark liegt in der Möglichkeit, Erkenntnisse über komplexe Entscheidungsprozesse zu gewinnen, die weit über die Spielewelt hinausgehen. Die KI-Modelle werden in einem mehrstufigen Prozess trainiert und anschließend anhand von Kriterien wie Punktzahl, Levelfortschritt und Fehlerhäufigkeit bewertet. Dazu kommen Faktoren wie Reaktionsgeschwindigkeit, Entscheidungsfindung und Fehlerresistenz.

Der Benchmark bietet eine objektive Vergleichsbasis für verschiedene KI-Modelle und zeigt deren Stärken und Schwächen auf. Die Ergebnisse sehen dabei bisher so aus: Anthropics Claude 3.7 ist derzeit Spitzenreiter, auf dem zweiten Platz behauptet sich Claude 3.5., gefolgt von Googles Gemini 1.5 Pro und OpenAIs GPT-4o. Die beiden letzteren KI-Modelle hatten durchaus Probleme, sich im Spiel zurechtzufinden, blieben stecken oder erlebten schnell das Game Over. Wer jetzt Lust auf Super Mario Bros. bekommen hat, den aktuellsten Teil für die Switch bekommt man bei Amazon.

Welche Erkenntnisse kann der Super Mario AI Benchmark hervorbringen?

Die Erkenntnisse aus dem Benchmark können vermutlich für autonome Systeme, Roboter, industrielle Optimierungsprozesse und medizinische Assistenzsysteme genutzt werden. Im Laufe der Testphase werden stetig neue Daten ausgewertet. Am Ende kann das dazu führen, dass die KI dank direktem Feedback und den abwechslungsreichen Umgebungen eigene Strategien entwickelt, um im Game voranzukommen. Das kann am Ende zu neuen Erkenntnissen führen, auf welchen weiteren Gebieten Künstliche Intelligenz Einzug halten könnte.