Roblox stellt Cube 3D vor: Eine Open-Source-KI zum Generieren von 3D-Objekten und Szenen aus Textaufforderungen

Online-Gaming-Plattform und Spieleentwicklungssystem Roblox kündigte die Veröffentlichung und Open-Source-Verfügbarkeit von Cube 3D an, einem KI-Modell, das 3D-Objekte und -Umgebungen aus Textaufforderungen generieren soll. 

Cube 3D dient als Grundlage für viele der KI-Tools, die Roblox zukünftig entwickeln möchte, darunter auch fortschrittliche Tools zur Szenengenerierung. Im Laufe der Zeit wird es sich zu einem multimodalen Modell entwickeln, das Text, Bilder, Videos und andere Eingabeformen einbezieht und sich in die bestehenden KI-Erstellungstools von Roblox integrieren lässt. Das KI-Modell kann 3D-Modelle und Umgebungen direkt aus Textbeschreibungen und zukünftig auch aus Bildern generieren. 

Um eine wirklich immersive 3D-Welt zu erschaffen, ist es unerlässlich, voll funktionsfähige Strukturen zu entwerfen – wie Garagen zum Einfahren, Tribünen zum Sitzen und Podien für die Siegerstraße. Roblox hat sich hierfür von fortschrittlichen Modellen inspirieren lassen, die mit Text-Token trainiert werden, um das nächste Token vorherzusagen und einen Satz zu bilden. Die Innovation basiert auf demselben Prinzip. Roblox hat die Fähigkeit entwickelt, 3D-Objekte zu tokenisieren und Formen als Token zu erkennen. Dadurch wird Cube 3D trainiert, das nächste Form-Token vorherzusagen und komplette 3D-Objekte zu erstellen. Bei der Erweiterung auf die vollständige Szenengenerierung prognostiziert Cube 3D das Layout und rekursiv die Formen, um dieses Layout zu vervollständigen. Benutzer können Cube 3D optimieren, Plug-Ins dafür entwickeln oder es mit ihren eigenen Daten trainieren, um ihre spezifischen Anforderungen zu erfüllen.

Roblox erneuert die Objekterstellung mit 3D-Tokenisierung 

Die größte technische Herausforderung bestand darin, Text und Bilder mit 3D-Formen zu verknüpfen. Die wichtigste Innovation ist die 3D-Tokenisierung. Sie ermöglicht es der Plattform, 3D-Objekte als Token darzustellen, ähnlich wie Text als Token dargestellt wird. Dadurch kann Roblox die nächste Form auf die gleiche Weise vorhersagen, wie Sprachmodelle das nächste Wort in einem Satz vorhersagen.

Um 3D-Generierung zu ermöglichen, hat Roblox eine einheitliche Architektur für autoregressive Generierung entwickelt. Diese umfasst die Generierung einzelner Objekte, die Vervollständigung von Formen und die Gestaltung von Mehrobjekt- oder Szenenlayouts. Autoregressive Transformatoren sind neuronale Netzwerke, die vorherige Eingaben nutzen, um die nächste Komponente vorherzusagen. Diese Architektur unterstützt sowohl Skalierbarkeit als auch multimodale Kompatibilität, sodass das Modell verschiedene Eingabetypen (Text, Bild, Audio und 3D) verarbeiten kann. Roblox stellt dieses Modell als Open Source zur Verfügung. In der ersten Phase können Entwickler 3D-Objekte aus Texteingaben generieren. Zukünftig sollen Entwickler ganze Szenen mit mehreren Eingabetypen generieren können.

Zum Trainieren des generativen vortrainierten Transformators (GPT) Zur Formerstellung verwendet Roblox diskrete 3D-Form-Token und richtet diese an Textaufforderungen aus. Dieser neuartige Ansatz ermöglicht es uns, in Zukunft vollständig spielbare 3D-Szenen zu erstellen.

Roblox ist eine Online-Gaming-Plattform und ein Spieleentwicklungssystem, mit dem Nutzer Spiele anderer Nutzer entwerfen, entwickeln und spielen können. Es bietet eine riesige virtuelle Umgebung, in der Einzelpersonen interaktive 3D-Erlebnisse erstellen und teilen können – von einfachen Spielen bis hin zu komplexen virtuellen Welten.