AI(人工智能)新锐巨头OpenAI近日推出文生视频模型Sora,成为了继聊天机器人ChatGPT之后又一大新爆款。在Sora官网上,OpenAI写道:“我们正在教AI理解和模拟运动中的物理世界,目的是训练模型帮助人们解决需要现实世界互动的问题。”
根据OpenAI的介绍,通过“一次性为模型提供多帧的预测”,Sora可以生成长达一分钟的视频,并能实现单视频的多角度镜头切换,还能通过“将视频和图像表现为较小数据单位的集合”来获得更广泛的数据,搭建模拟现实世界的逼真模型。
虽然还没有向公众开放,由于在AI生成视频时长上成功突破到一分钟,再加上公开演示视频的高度逼真和高质量,Sora立刻引起了轰动。特斯拉CEO埃隆·马斯克(Elon Musk)在X(原推特)平台上感叹“人类愿赌服输(gg humans)”,360集团创始人、董事长兼CEO周鸿祎则预言“AGI(通用人工智能)实现将从10年缩短到1年”。
AI视频生成赛道竞争日渐激烈
毫无疑问,Sora的出现至少让竞争对手感到了压力。在Sora发布后,AI视频初创公司Runway的CEO克里斯托瓦尔·巴伦苏埃拉(Cristóbal Valenzuela)便在X平台上发布了两个词:“Game On(比赛开始了)。”
AI视频公司Stability AI的CEO埃马德·莫斯塔克(Emad Mostaque)则在X平台上感慨“奥特曼(OpenAI的创始人兼CEO)真是一个魔术师”,并称Sora可以被视为AI视频的GPT3,将在未来几年内得到扩展、细化、调整和优化。
自2022年以来,最早的一批文生视频模型都是由Stability AI、Runway和Pika等小型初创公司开发的,而近几个月来,科技巨头们也纷纷宣布将带着自己的模型进入该领域,例如字节跳动的MagicVideo-V2和谷歌的Lumiere。
谷歌的Lumiere演示片段。来源:Google Research
虽然谷歌和字节跳动发布的演示视频都展现出了质量的飞跃,但它们都没能脱离现有文生视频的一般模式,即输出单一的、通常是静止视角的短视频片段。相比之下,Sora的宣传视频包括变换摄像机角度、电影式剪辑和场景变换,而这一切,都是通过单一提示词生成的。
Sora生成的视频能够达到更加逼真的效果。来源:Sora
针对Sora如何达成如此惊人的效果,研究者们也展开了分析。在Sora技术报告所引述的32篇论文中,纽约大学助理教授谢赛宁和现任OpenAI工程师的William Peebles在2023年合著的扩散Transformer论文吸引了大家的目光,被视为Sora的研究基础。谢赛宁也连发多条推文推测,Sora或建立在扩散Transformer模型之上,整个Sora模型可能有30亿个参数,数据很可能是Sora成功的最关键因素。
虽然OpenAI指出Sora仍存在缺陷,例如难以准确模拟复杂场景的物理特性、无法理解因果关系的具体实例和混淆提示的空间细节,但也在官网上不无骄傲地写道:“Sora为能够理解和模拟真实世界的模型提供了基础,我们相信这一能力将是实现AGI(通用人工智能)的重要里程碑。”
招商策略研报认为,OpenAI在训练端与输入端的创新造就了Sora的成功。虽然OpenAI表示当前Sora仍有弱点,但从当前展示的效果来看,Sora显著领先于其他文生视频模型,推动AI视频生成进入了一个全新的时代。
有望大幅降低成本,好莱坞行业受冲击?
影视圈也从未如此直观地感受到AI带来的威胁与机遇。例如,专注于早期阶段投资的美国旧金山投资人Zak Kukoff在X平台上预测,在五年内,一个不到五人的团队将能够利用文生视频模型和非工会劳动力来制作一部票房收入超过5000万美元的电影。
美国权威电影业界期刊《好莱坞报道》(The Hollywood Reporter)猜测,OpenAI将利用Sora“大规模进军好莱坞”:“尽管类似的AI视频工具已经存在,OpenAI的系统体现了该技术的快速增长,可能将会取代大量的劳动力。娱乐业正在努力应对AI,而这一技术将进一步被主流所采纳。”
早在Sora之前,AI已经开始影响全球影视行业。行业调查公司CVL Economics在今年1月发布了一项针对300位好莱坞行业领袖的调查,有四分之三的受访者承认,AI工具促进了公司岗位的削减或整合。据估计,在接下来的三年里,将有近20.4万个职位受到AI的不利影响,声音工程师、配音演员和概念艺术家处于向AI转变的前沿,视觉效果和其他后期制作工作也很容易受到影响。
有科技媒体指出,在好莱坞,单个场景的制作成本可能高达数百万美元,Sora可能成为制片人的新选择,一种更为经济型的替代品,例如重现滑铁卢战役,不需要昂贵的特效或者专门设计拍摄场景,“Sora的魅力在于它能够培养创造力。导演可以尝试不同的美学或场景,而无需承担与传统制作相关的财务风险。促进了创新,为以前仅限于想象力的叙事和视觉风格打开了大门……数字艺术家可以让技能多元化,但也应该适应这种将永远改变游戏规则的新范式。”
不过,由于可能使用受版权保护的内容和生成视频时长较短等问题,AI生成视频工具在影视业的使用依然受到局限。许多艺术家也要求OpenAI公开Sora的训练数据,怀疑其有使用版权保护内容的嫌疑。曾为多部漫威影片工作过的概念艺术家卡拉·奥尔蒂斯(Karla Ortiz)指出,大模型需要海量的训练数据来进行学习,隐藏数据来源是一种逃避社会责任的行为。
而在影视业之前,相对较为不看重视频内容的广告业已经受到了AI生成视频工具的显著冲击。据统计,在美国洛杉矶,自2018年以来,商业广告的拍摄量已经出现持续大幅下降,如果排除因疫情而停止大部分制作的2020年,其在2023年已经降至七年最低点。一旦Sora正式开放使用,想必将会进一步推动广告业向AI转型。
是破局者,还是破坏者?
除了版权问题以外,和所有其他AI工具一样,Sora过于逼真的视频表现也带来了一些对于伪造和传播虚假内容的忧虑。
在充斥着虚假信息的互联网,深度造假(Deepfake)的道德问题早已成为了关注焦点。就在今年1月,由AI生成的美国知名歌手泰勒·斯威夫特(Taylor Swift)的虚假露骨照片在社交媒体上疯传,短时间内浏览量飙升至上千万,一时惊动美国白宫。白宫新闻发言人卡里娜·让-皮埃尔(Karine Jean-Pierre)警告称,AI生成照片的传播“令人担忧”。由于来不及删除这些有害图片,X平台一度封锁了对斯威夫特的相关搜索。
而一旦照片变成视频,人们将更加难以分辨真伪。OpenAI也考虑到了模型安全性方面的潜在风险,称其计划与一个专家团队合作测试最新模型,密切关注错误信息、仇恨内容和偏见等。OpenAI还表示其正在开发帮助检测误导性信息的工具,比如检测分类器可以判断视频是何时由Sora生成的。其文本分类器可检查并拒绝违反使用政策的文本输入提示,例如极端暴力、性内容、仇恨图像、名人肖像等。
但在Sora被正式公开之前,我们都无从得知这些约束条件的具体效果如何。此外,AI技术的复杂性也意味着需要大量金钱和算力资源投入,可能会将权力进一步集中在少数资本或技术寡头身上。
不管是好是坏,Sora都标志着更先进的AI视频浪潮的出现,而这股浪潮或许终将颠覆包括影视、广告乃至游戏和艺术在内的整个创意产业。