12月5日凌晨，就在OpenAI宣布將于未來12天連續進行12場發布會直播時，Google DeepMind同時在官網發布了大型基礎世界模型Genie 2，可通過單張圖片和文字描述生成種類多樣的可玩3D世界。作為今年初推出的 Genie 模型的升級版，Genie 2標志著人工智能在虛擬世界生成領域的又一次突破。

DeepMind透露，Genie 2具備從不同視角（如第一人稱視角與等距視角）生成連貫世界的能力，這些生成的世界可持續時間長達一分鐘，但多數情況下維持在10到20秒之間。

博客中放出了大量由模型生成的視頻示例，來展示Genie 2在行動控制、長視界記憶、長視頻生成、NPC、物理等方面的效果與優勢。例如，輸入“森林中的可愛人形機器人”，模型便可構建一個包含機器人角色和可探索環境的動態場景。用戶可以通過鍵盤或鼠標操作角色在世界中進行跳躍、游泳等互動。

據悉，經過視頻訓練，該模型能夠精準模擬物體的交互、動畫效果、照明、物理現象、反射效果以及“NPC”（非玩家角色）的行為。許多生成的場景畫質接近 3A級別的電子游戲，甚至在物體視角一致性和場景記憶方面表現優異。

技術方面，谷歌提到，Genie 2 是一個自回歸潛在擴散模型，在大型視頻數據集上進行訓練。經過自動編碼器后，視頻中的潛在幀被傳遞到大型Transformer動力學模型。該模型使用與大語言模型類似的因果掩碼進行訓練。在推理時， Genie 2能以自回歸方式進行采樣，逐幀獲取單個動作和過去的潛在幀。

谷歌對世界模型研究的投入正在持續擴大。今年 10 月，DeepMind 聘請了OpenAI前視頻生成項目負責人Tim Brooks，同時兩年前從Meta挖來了以開放式實驗聞名的Tim Rockt?schel。與之相似的模型還有“AI教母”李飛飛創立的 World Labs 和以色列初創公司 Decart 的產品。

雖然大多數基礎世界模型可以模擬游戲和 3D 環境，但還存在偽影、一致性和幻覺相關的問題。Google DeepMind還在博客最后放了一些有趣的“花絮”，Genie 2生成出一些奇怪視頻，比如沒有采取行動的情況下一個“鬼魂”出現在花園，在雪場的人物角色從滑板上跳下來，相比滑雪更愛跑酷，以及一個魔法球爆炸。

就3D游戲生成這一領域研究，谷歌還表示，游戲在人工智能研究領域發揮著重要作用。游戲的吸引力、獨特的挑戰組合和可衡量的進展使其成為安全測試和推進 AI 能力的理想環境。自 Google DeepMind 成立以來，游戲就一直非常重要，是研究的重心。然而，訓練更通用的具身智能體的傳統瓶頸在于缺乏足夠豐富和多樣化的訓練環境。

(本文來自第一財經)