OpenAI 近来对英伟达部分最新一代人工智能芯片在推理环节的表现并不满意，尤其是在软件开发、模型与其他软件系统交互等特定用例中，认为现有硬件在响应速度上难以满足需求，因此从去年起就开始系统性地寻找替代方案。 这使得这家最知名的 AI 模型公司与长期依赖的核心供应商之间的关系变得更为复杂。
报道指出，尽管英伟达依然在大模型训练用 GPU 领域占据主导地位，但 OpenAI 的战略重心正在向推理阶段倾斜，也就是模型向终端用户输出答案的那一部分运算。 在这一环节，延迟和吞吐表现直接关系到用户体验和成本结构，因此 OpenAI 希望部分工作负载能转移到更适合高带宽、低延迟推理场景的新型芯片上。
OpenAI 与英伟达之间原本正在推进一项体量高达约 1000 亿美元的投资与供货安排：英伟达计划以投资换取 OpenAI 股权，同时未来数年为其提供大规模先进芯片资源。 这笔被外界视为“板上钉钉”的交易原本预计很快敲定，但如今谈判已拖延数月，一方面是因为 OpenAI 与 AMD 等厂商签署了新的 GPU 采购或合作协议，另一方面则是其产品路线图变化影响了对计算资源类型和比例的需求。
在公开表态上，双方仍尽力维持合作关系的积极形象。 英伟达 CEO 黄仁勋近日否认与 OpenAI 存在紧张关系，称有关不和的说法“完全是胡说”，强调公司仍计划对 OpenAI 进行大规模投资；英伟达对外表示，客户之所以在推理工作负载上继续选择其产品，是因为其在性能与总体拥有成本方面仍具优势。 OpenAI 发言人也称，公司在推理集群方面“绝大部分”仍依赖英伟达，认为后者在推理性能和性价比上仍处于领先位置。
不过，接近内部情况的多名消息人士透露，OpenAI 对英伟达硬件在特定类别推理任务上的速度并不满意，认为其在代码生成等产品上的体验受到限制。 为此，OpenAI 正计划引入可以满足大约一成未来推理算力需求的新型硬件，以作为现有 GPU 集群的补充。 在这过程中，公司曾与包括 Cerebras 和 Groq 在内的初创企业商谈合作，希望利用它们在推理加速方面的特长。
技术层面上，OpenAI 关注的是在同一块芯片中尽可能集成更多片上静态存储（SRAM）的架构。 这类设计可以显著缩短计算单元访问参数和中间数据的路径，从而提升聊天机器人和其他 AI 系统在处理海量请求时的响应速度。 相比之下，英伟达和 AMD 的传统 GPU 依赖外置显存，这在推理阶段会增加访存延迟，使得芯片在大量时间里处于“等数据”的状态。
这种瓶颈在 OpenAI 内部最直观地出现在针对程序员的编程产品上。 公司内部有人将部分体验短板归因于基于 GPU 的硬件架构，认为要满足专业用户对速度的高度敏感，就必须寻找具有结构性优势的推理芯片。 CEO 山姆·奥特曼在 1 月底与媒体沟通时也表示，企业用户在使用代码类模型时会对速度“赋予极高权重”，而普通聊天机器人用户对响应速度的容忍度相对更高。
为了提高推理速度，OpenAI 最近与 Cerebras 达成了合作，由后者为其提供新一代计算平台，这被视为满足高端客户低延迟需求的重要一环。 同时，业内人士指出，竞争对手如 Anthropic 的 Claude 和Google的 Gemini 在部署上更多依赖Google自研的张量处理单元（TPU），这类专用芯片在推理和复杂推断任务上相较通用 GPU 具备一定性能优势，也加大了英伟达在新一轮 AI 硬件竞赛中的压力。
面对客户需求变化与新竞争态势，英伟达也在主动出击，接触了一批专注高带宽 SRAM 架构的芯片公司，包括 Cerebras 和 Groq，探讨收购或深度合作的可能。 Cerebras 最终拒绝了被收购的选项，而是与 OpenAI 签下商业协议；Groq 则一度与 OpenAI 商谈提供算力服务，并吸引到投资者以约 140 亿美元估值注资的兴趣。
不过，去年 12 月，英伟达以约 200 亿美元的对价达成了对 Groq 技术的非独家授权交易，并陆续从 Groq 挖走芯片设计团队。 在这桩交易后，Groq 的业务重心转向云端软件销售，而英伟达则将其视为对自家产品路线图的重要补充，以便在快速演化的 AI 行业中填补推理加速技术上的短板。