谷歌发布了新交互模型——Genie，该技术将为AI领域带来革命性的突破。据了解，Genie共有110亿个参数，能够基于用户输入的一张图片和提示词，生成一款较为完整的2D平台游戏。Genie三由个部分组成：一个潜在动作模型，用于推断每对帧之间的潜在动作；一个视频tokenizer，用于将原始视频帧转换为离散token。
另有一个动态模型，用于在给定潜在动作和过去帧token的情况下，预测视频的下一帧。这三个组件共同协作，使得Genie能够生成具有高度交互性和可控性的虚拟世界。
Genie通过了网络上超过20万小时的2D游戏视频训练，目前只是一个研究预览版，这些游戏更像是2D平台游戏，而不是完全的VR游戏。
此外，它能生成图像和其他资产，将你的草图变成一个完全实现的开放世界，然后根据玩家提供的操作预测下一个像素帧，Genie还可以应用于设计相关的创作领域，进一步拓宽了创作者的想象空间。
