马斯克说到做到 Grok遵照Apache 2.0协议开放模型权重和架构

2024年03月18日 09:40 次阅读 稿源:智东西 条评论

6个月掏出3410亿参数自研大模型,马斯克说到做到!就在刚刚,马斯克的AI创企xAI正式发布了此前备受期待大模型Grok-1,其参数量达到了3140亿,远超OpenAI GPT-3.5的1750亿。这是迄今参数量最大的开源大语言模型,遵照Apache 2.0协议开放模型权重和架构。

STK262_GROK_B.webp

8591-cb52508a23b46bb2112b75c34215e491.png

Grok-1是一个混合专家(Mixture-of-Experts,MOE)大模型,这种MOE架构重点在于提高大模型的训练和推理效率,形象地理解,MOE就像把各个领域的“专家”集合到了一起,遇到任务派发给不同领域的专家,最后汇总结论,提升效率。决定每个专家做什么的是被称为“门控网络”的机制。

xAI已经将Grok-1的权重和架构在GitHub上开源。


目前Grok-1的源权重数据大小大约为300GB。

截至北京时间3月18日上午7时许,Grok-1项目收获了3400颗星。


Grok-1是马斯克xAI自2023年7月12日成立以来发布的首个自研大模型。xAI特别强调说这是他们自己从头训练的大模型。Grok-1没有针对特定应用进行微调。

xAI是马斯克去年刚刚成立的明星AI创企,其目的之一就是与OpenAI、Google、微软等对手在大模型领域进行竞争,其团队来自OpenAI、GoogleDeepMind、Google研究院、微软研究院等诸多知名企业和研究机构。

此前马斯克刚刚“怒喷”OpenAI不够“Open”,后脚这就开源了自家的顶级3410亿参数自研大模型Grok-1。虽然马斯克在预热到发布的过程中也“放了几次鸽子”,但最终他并没有食言。

今天,xAI还公布了Grok-1的更多细节:

基础模型基于大量文本数据训练,未针对特定任务进行微调。

3140亿参数的Mixture-of-Experts模型,其对于每个token,活跃权重比例为25%。

xAI从2023年10月开始使用自定义训练堆栈在JAX和Rust之上从头开始训练。

但此次xAI并没有放出Grok-1的具体测试成绩,其与OpenAI即将发布的GPT-5的大模型王者之战,必将成为业内关注的焦点。

当然,马斯克发大模型,怎么会少的了大佬隔空对线“互怼”?

xAI官方消息刚刚发布,ChatGPT的官方账号马上就跟马斯克在X平台上进行了互动,在Grok官方账号评论下回复道:“偷了我的笑话。”


马斯克自然不会示弱,马上说请告诉我OpenAI“Open”之处在哪里。

马斯克高仿号也马上跑过来添油加醋,说我们都知道是Sam在运营ChatGPT的账号。

值得一提的是,此次xAI发布Grok-1消息的封面图片,是由Midjourney生成,Grok给出了提示文本:一个神经网络的3D插图,具有透明节点和发光连接,展示不同粗细和颜色的连接线的不同权重(A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines)。

原图:

无标题.jpeg

对文章打分

马斯克说到做到 Grok遵照Apache 2.0协议开放模型权重和架构

1 (25%)
已有 条意见

    最新资讯

    加载中...

    编辑精选

    加载中...

    热门评论

      Top 10

      招聘

      created by ceallan