刚步入2024年的临了一个月吴梦菲 反差，生成式AI边界就在短短几天内迎来了两个重磅进展（居然齐想在圣诞季之前把职责解决）。

两天前，李飞飞的Worlds Lab刚刚发布了仅靠一张图就能生成可互动3D空间的新模子，末端今天DeepMind也发布了肖似的恶果，发扬以致更胜一筹。

当地时候12月4日，谷歌DeepMind官宣了其最新一代大限度基础寰宇模子Genie 2。

它能够将一张图像退换为可交互的3D游戏寰宇，通过鼠标和键盘适度，用户不错在其中解放探索长达1分钟之久。

Genie 2 的建造团队敬佩，它能够为具身智能解锁更多才智，开启AI生成编造寰宇的新篇章。概况异日的游戏建造，尤其是开放寰宇创作行将迎来一场本事创新。

话未几说，咱们先来望望DeepMind放出的视频：

有滑雪滑到一半倏得想跑酷的东说念主：

还有手搓火球（但疑似撞墙穿模）的东说念主：

Genie 2源于DeepMind恒久以来在游戏边界的深厚积淀。游戏不仅能提供乐而忘返的体验，更紧迫的是它们为AI臆想打算提供了特有的挑战环境和可估量的进展宗旨，使其成为安全测试和推动AI才智的逸想平台。

从领先对雅达利游戏的臆想打算，到围棋AlphaGo和《星际争霸2》AlphaStar等里程碑式的冲破，游戏一直是DeepMind臆想打算职责中的中枢。

与2024年2月发布的第一代Genie比拟（其时发布了一篇预印本论文），Genie 2在功能和性能上齐已矣了质的飞跃。它能够生成720p折柳率的高质料3D寰宇，用户不错通过键盘和鼠标在第一东说念主称或第三东说念主称视角下进行操控。

更令东说念主惊羡的是，这个系统不仅能模拟重力、碰撞和水体率领等基础物理征象，还能处理复杂的光照、反射和烟雾效果，并生成不错互动的NPC，让生成的编造寰宇愈加真实。

举例模拟水面：

烟雾：

重力：

爽气：

在归拢场景下创造NPC（智能体）：

这种真实感和交互性，使得Genie 2生成的环境具有前所未有的千里浸感。

Genie 2的一个紧迫冲破在于其空间记挂才智。当用户在编造环境中挪动时，即使某些区域暂时不在视线范围内，系统也能保握这些区域的一致性。

这意味着当玩家重新回到之前造访过的位置时，环境会保握原样，而不是重重生成，这解决了早期3D空间生成器的局限性，极地面普及了用户体验，使编造寰宇更具实在度。值得一提的是，李飞飞的World Labs也深切也曾已矣了这少量。

在本体应用中，Genie 2展现出了惊东说念主的各样性。用户只需提供一张图片（由Imagen 3生成）和笔墨形色（比如“丛林中的可人机器东说念主”），系统就能生成一个可交互的及时场景。这些场景最长不错握续一分钟，大多数能清醒启动10到20秒，供用户交互和探索。

图 | 通过左边的静态图生成右边的3D寰宇

DeepMind还进行了一系列创新性的测试，将Genie 2与其SIMA AI智能体纠合使用，后者旨在除名天然言语领导来完成一系列 3D 游戏寰宇中的任务。SIMA 通过键盘和鼠标输入适度化身，而 Genie 2 生成游戏帧。

在测试中，SIMA能够生效在Genie 2生成的房间中导航，并扩充“怒放蓝色的门”、“去有植物的所在”等天然言语领导。这种组合不仅展示了AI系统在数字和物理空间扩充复杂任务的后劲，还为异日AI代理的查考提供了无穷可能。

臆想打算团队发现，通过Genie 2快速创建丰富各样的环境，他们不错生周密新的评估任务，这些任务是智能体在查考进程中从未遭遇过的。

这意味着，以后针对AI智能体和具身智能的查考，咱们概况领有了取之不尽用之不竭、用之贬抑的查考数据。

在系统架构方面，Genie 2选拔了自回顾潜变量扩散模子想象。它开头通过自动编码器处理输入图像，然后愚弄解码器基于用户操作创建3D环境。

在推理时，Genie 2 不错以自回顾的姿色进行采样，逐帧获得单个动作和先前的潜变量帧。它还使用了无分类器指导（classifier-free guidance）来提高动作的可控性。

这种架构允许系统在保握环境连贯性的同期，已矣畅达的及时交互。天然现在展示的示例来自未经蒸馏的基础模子，但DeepMind也曾建造出了可及时启动的蒸馏版块，但输出质料会有所缩小。

相干词，这项本事的发展也激励了一些争议和担忧。由于DeepMind当作谷歌的子公司不错无末端地造访YouTube视频数据，且谷歌此前暗意其服务要求允许使用YouTube视频进行模子查考，这激励了常识产权方面的担忧。

同期，生成的模拟场景看起来与一些3A游戏场景很一样，这可能波及到未经授权复制游戏的法律问题。这些问题需要在本事连续发展的同期得到妥善解决。

对游戏建造者而言，Genie 2既是机遇亦然挑战。DeepMind指出，它不错匡助建造者快速将观点草图或像片退换为具有完好物理和光照系统的3D空间，极大普及原型想象效能。

相干词，跟着游戏公司逐渐拥抱AI来提高坐褥效能，这导致了多数职工被裁。这种本事跳跃带来的办事商场变革，需要总共行业肃穆念念考和搪塞。

瞻望异日，尽管这项臆想打算仍处于早期阶段，在智能体与环境生成的才智和质料方面齐有很大的普及空间，但DeepMind以为，Genie 2的发布不仅为解决具身智能的安全查考问题提供了可能性，也为已矣真实的通用东说念主工智能（AGI）铺平了说念路。

DeepMind还强调，他们将连续戮力于普及Genie的寰宇生成才智，在通用性和一致性方面陆续冲破，最终标的是建造出更安全、更有利于东说念主类的AI系统，但愿透彻篡改咱们与编造寰宇互动的姿色。

参考贵寓：

https://deepmind.google/discover/blog/genie-2-a-large-scale-foundation-world-model/

https://techcrunch.com/2024/12/04/deepminds-genie-2-can-generate-interactive-worlds-that-look-like-video-games/吴梦菲 反差