OpenAI炸裂升级 又一个行业被干掉了

2024年02月17日 10:32 次阅读 稿源:格隆汇 条评论

假期轻松愉快,没太关注时事。没想到一觉醒来,朋友圈突然被一则新闻刷屏:OpenAI发布文生视频模型Sora 。好家伙,瞬间给我拉回工作氛围。人们一直期待GPT-5,但Sora带来的轰动不亚于GPT-5的发布。之前大家还在关注,Google推出的Gemini能否杀死GPT4,全世界各大科技巨头能否在这波AI浪潮中弯道超车。现在,显然没人关注了。因为OpenAI自己可能要用它先杀死GPT-4了。


我上官网(https://openai.com/sora)看了演示视频,无论从视频流畅度还是细节表现能力上,Sora的效果都相当惊艳。

难怪有人说:现实,不存在了。

比如官推里这条14秒的东京雪景: 美丽的,被雪覆盖的东京正繁忙着。镜头穿过繁忙的城市街道,跟随着几个享受雪景和在附近摊位购物的人。美丽的樱花瓣随风飘落,与雪花一同飞舞。

尽管我们能感觉到,还有那么一些不自然。但当素材用,已经足矣。


又比如下面这张对法令纹和痘印的刻画,只要不去吹毛求疵,确实已经足够真实。

说句不该说的,这张图,至少看起来比坐在美颜前面的女主播们真实……


网友们也第n+1次纷纷哀悼起相关赛道的公司们:

“OpenAI就是不能停止杀死创业公司。”

“天哪,现在起我们要弄清什么是真的,什么是假的。”

“我的工作没了。”

“整个影像素材行业被血洗,安息吧。”

……

01 现实与虚拟的界限

其实,文字生成视频这回事,早就不新鲜了。

2023年8月,RunwayGen2正式推出,AI生成式视频正式进入大众视野。

到今年初,不计其数的产品一个接一个,PIKA、Pixverse、SVD、Genmo、Moonvalley……等等等等。

太多了,也太卷了。

我们能明显感觉到,最近小半年刷的短视频里,多了很多不自然的视频。稍微品一品,就能察觉这肯定不是人工剪辑的。

首先,没有超过4s的连贯镜头;其次,很不自然。

这些实用的工具,基本都是小公司出品的,功能并不完善。

说不完善都还算保守了,简直就是漏洞百出。

视频内容归根结底,是对现实世界的还原。既然如此,那其中必然包含大量交互镜头——物与物、人与人、人与物,等等。

就像用摄像机拍出来的片段一样。

我们看电影、看视频,看的也是交互,相信没几个人喜欢看一个人的独白。

比如,玻璃杯从桌子上摔到地上,它应该碎掉;像皮球摔到地上,它应该弹两下。

但让AI去合成这类场景,你就会发现,它并不会还原以上的物理现象。物体与物体碰撞或叠加到一起,AI只会让其中一方变形。

这说明了一个关键问题: 过去的AI并不理解现实世界的规律。


不符合人类常识的视频,能有多大市场呢?

不理解基础物理的AI,它的上限能有多高?

想要解决这个问题,难不难?很难。

现在的AI大模型,虽然是模拟的人脑,但毕竟有所区别。

最本质的区别在于: AI 没有想象力。

比如,你一巴掌扇在我脸上,面部肌肉如何颤动?把一颗鱼雷扔进池塘,水面如何散开?

我们可以想象到后续会发生的事情,AI 不能。

无论它的参数堆得多高、计算速度再快,都不能。

即便是目前的Sora也做不到。

从各种演示例子中可以看到,虽然Sora 对自然语言有着深入的理解,能够准确洞悉提示词,生成表达丰富的内容,甚至可以创建多个镜头、保持角色和视觉风格的一致性。

但是,它依然无法准确模拟出复杂场景的物理现象,因为它不理解因果关系。

比如,人咬了一口饼干,但饼干上没有咬痕;又或者混淆左右、不遵循特定的摄像轨迹;甚至无法理解,影子是人的影子还是物的影子……

如此一来的结果,便是合成有违物理常识的视频。


既然如此,Sora到底牛在哪里,为什么这么多人追捧它?

因为它其实做得足够好了,至少比同行们好太多了。

用Fortune杂志的话来说就是: 将生成式AI之战转移到了好莱坞。

用官网的话来说,它能够生成包含多种角色和特定类型的运动,主体和背景细节准确;还能理解事物在物理世界的存在方式。

简单来说,它虽然还不能理解需要想象力的因果律,但最基本的现实场景,它是可以还原的。

AI生成视频这一条赛道,诞生至今还不到1年,我们确实不能要求太高。

如果把上文描述的内容当做终结目标,把去年至今的一系列生成工具作为雏形,Sora大概处在两者之间。

它是如何做到的?

02 谁站在巨人肩上?

Sora主要采用了两种技术。

一个是扩散模型(diffusion model),原本是用于文字转图片的。

简单来讲,是先生成一张全是noise(噪声)的图片,与目标图片的vector尺寸相同(比如目标图片是256*256,初始sample图片也要是256*256),然后经过若干次denoise(去噪声),让图片逐步成型。

问题在于,大模型怎么知道去除什么?保留什么?


当然需要训练。

研究人员得先用清晰的图片,一步一步加噪声进去,如下图。

这是上图的逆序,即反向扩散。


看懂了上面两个步骤,你才能理解MIT Technology Review究竟在说啥:

Sora的团队使用了DALL-E 3背后的技术,即扩散模型。扩散模型经过训练后可以将模糊的随机像素变成图片。

其原理并不复杂,但需要时间和人力成本。

另一项技术是Transformer的神经网络,就是GPT(Generative Pre-Trained Transformer)中的T。

但是,Transformer 架构人尽皆知,在文字、图像生成上已经成为主流,为什么别人没想着在视频生成上用,就OpenAI 用了呢?

用技术的话来说: Transformer 架构中,全注意力机制的内存需求会随着输入序列长度而二次方增长。

说人话就是: 计算成本太高了。

即便OpenAI背靠微软,各种融资拿到手软,也不愿意这样烧钱。

所以他们开发了一个视频压缩网络,先把视频数据降维到latent(潜空间),再将压缩过的数据生成 Patche,这样就能使输入的信息变少,有效减小计算量压力。


然后,为了让大模型更好理解用户的意思,OpenAI 直接把文生视频模型套进已经得到市场认可的GPT模型范式中,这就是它独有的优势了。

使用者输入的提示词,并非直接交给Sora,而是先让成熟的GPT将文本进行精准详细的扩写。

Sora再根据GPT提供的详细文本,逐帧生成更准确的视频。

说实话,个人认为,这才是Sora有别于其他模型的最大优势。

其他团队即便能解决其他步骤,但没有成熟的大模型,也是白搭。

整体上看,Sora的成功几乎是水到渠成的。

它能有如今惊艳的表现,基本全部得益于OpenAI过去的成果,有些是借用了思路,有些则是不可或缺的基本架构。

这就是所谓的先发优势了,它不仅仅体现在老生常谈的垄断问题上面。

一生二、二生三、三才生万物。

反观OpenAI此时此刻全世界的各大竞争对手,无一例外全部卡在文生文、文生图上。

更有甚者,连一都没有的,还是老老实实抓紧做底层。不然等先发者三生万物了,真的是什么都晚了。

我们能明显感觉到,AI比过去任何行业的迭代都要快。

也许,这个技术差只要维持两年,就会变成永远无法逾越的鸿沟。

所谓“差距只有几个月”、“弯道超车”,基本是不存在的。

03 尾声

正如上文所说,Sora目前仍有很大缺陷。

它能生成复杂、精美且足够长的视频,这证明AI在理解现实世界的能力上有相当大的提升。

但这种提升,依然基于大量的训练,而不是AI本身对世界的理解。Sora对视频的处理依旧是有很多局限性,甚至包括很基本的事实错误。

所以Sora给人的感觉虽然震撼,但还称不上这两天热烈讨论的“世界模型”。

所谓“现实不存在了”,绝对不是指现在。

但未来说不准。

在我们普通人眼中,Sora就是个文生视频模型。它的出现,意味着大多数影视、视频制作从业人员,即将失业。

但对OpenAI团队而言,并不仅此而已——这必然是他们构建AGI(通用人工智能)的重要环节。

AGI与世界的交互不仅体现在文字、图片和语音等形式上,还有更直接的视觉视频,这也是人类自古以来认知和理解世界最重要的方式。

所以生成视频、理解视频和理解物理世界,是未来AGI必备能力之一。

此时此刻,我们还能想象得到,生成式AI会对影视、游戏制作行业造成天翻地覆的影响。

等到通用人工智能问世的那一刻,AI到底能做什么、会对世界造成多大的影响?

所有人都能想象到的,是必然会应用到具身智能,也就是机器人上。

但除此之外呢?抱歉,想象力有限,真的想象不出来。

或许,AI真的就是全人类期待了几十年的那个技术奇点。你知道某些事情会发生,但无法想象究竟是什么事。(如果能想象,那也就不叫奇点了)

只能祈祷,未来是星辰大海,商机遍地。

对文章打分

OpenAI炸裂升级 又一个行业被干掉了

1 (50%)
已有 条意见

    最新资讯

    加载中...

    编辑精选

    加载中...

    热门评论

      Top 10

      招聘

      created by ceallan