DeepMind představil Genie 4, model simulující interaktivní světy se zvukem

Google DeepMind oznámil Genie 4, novou generaci takzvaného world modelu, tedy systému, který dokáže simulovat interaktivní virtuální světy. Podle článku zveřejněného 27. října, jehož autory jsou Raia Hadsell, Diego Rivas a Hang Qi, přináší model vyšší realismus a lepší simulaci v reálném čase než dosavadní verze.

Genie 4 je nativně multimodální, což znamená, že současně generuje samotný svět, hudbu, okolní zvuky i interaktivní dialogy. Zvuk tak není dodatečná vrstva, ale součást simulace od začátku. Model přitom využívá schopnosti rodiny Gemini. Gemini Omni podle DeepMindu ukotvuje simulace v reálném vzhledu a chování věcí, zatímco ostatní modely Gemini zajišťují složitější uvažování, které pomáhá udržet koherenci a kontinuitu generovaného světa.

Uživatel může ve světě spustit nějakou událost a Genie 4 následně simuluje, co se stane dál. Zahrnuje to reakci prostředí, zvuk, pohyb i řeč lidí ve scéně. Simulace se ovládají běžnými klávesnicovými prvky, například pro navigaci a kameru, a také textovými pokyny zadávanými v reálném čase.

Mezi hlavní uváděné schopnosti patří úprava simulace přirozeným jazykem přímo za běhu. Uživatel tak může měnit počasí, pohyb kamery nebo do scény přidávat nové osoby či objekty. Model má také nabízet realističtější fyziku, například v oblasti aerodynamiky a kolizí, přirozenější pohyb a reakce postav a nativní zvuk. Jako ukázkové zadání článek zmiňuje scénu s muzikantem, který hraje na saxofon na plovoucí plošině na jezeře.

DeepMind označuje world modely za důležitý krok na cestě k vývoji obecné umělé inteligence (AGI). Mezi cíli, které s Genie 4 sleduje, je vytváření bezpečných a nekonečně variabilních simulací pro trénink robotů a dalších agentů. Druhým záměrem jsou nové interaktivní zážitky pro uživatele.

Genie 4 je zatím spuštěn jako research preview pro důvěryhodné testery. Google chce před širším uvedením shromáždit zpětnou vazbu. V první fázi získají přístup předplatitelé tarifu Google AI Ultra v rámci Project Genie a také partneři, kteří mají časný přístup k Gemini API a Google AI Studiu. Zájemci o další přístup se mohou zapsat na čekací listinu (waitlist) pro Genie 4 v Project Genie.

Další podrobnosti o technické stránce modelu, jeho omezeních nebo termínu širšího zpřístupnění uvedené informace nezahrnují.