人工智能初创公司 Anthropic 今日宣布,其广受欢迎的Claude Sonnet 4 LLM 模型现已支持高达 100 万个上下文词元。继 Google Gemini 之后,Anthropic 成为第二家提供 100 万个上下文词元的主流模型提供商。
此前,Claude Sonnet 4 API 仅支持 20 万个上下文词元。此次扩容五倍后,开发者可以在单个请求中发送超过 75000 行代码的整个代码库。
扩展上下文支持现已在 Anthropic API 和 Amazon Bedrock 上进行公开测试,Google Cloud Vertex AI 也即将上线。不过,长上下文支持目前仅限于 Tier 4 开发者,且需自定义速率限制。Anthropic 指出,未来几周将向更多开发者开放此功能。
由于更大的词元窗口需要更高的算力,Anthropic 推出了特殊定价。对于 20 万个词元以下的提示,Sonnet 4 的费用为每百万个输入词元 3 美元,每百万个输出词元 15 美元。对于超过 20 万个词元的提示,费用为每百万个输入词元 6 美元,每百万个输出词元 22.5 美元。
开发者可以通过使用快速缓存和批处理来降低成本。例如,批处理可以为 1M 上下文窗口定价提供 50% 的折扣。
在最近Reddit 的 AMA 会议上,OpenAI 的领导者们讨论了为其模型支持长上下文窗口的问题。OpenAI 首席执行官 Sam Altman 表示,OpenAI 尚未发现用户对长上下文长度的强烈需求,但如果有足够多的兴趣,他们愿意支持它。由于计算能力受限,他们希望专注于其他优先事项。
OpenAI 团队的 Michelle Pokrass 写道,他们本来希望在 GPT-5 中提供更长的上下文,最多 100 万个词元,特别是对于 API 用例,但由于 GPU 需求量大,他们没有这样做。
Anthropic 的 1M 上下文支持使其在长上下文功能方面与 Google Gemini 直接竞争,这给 OpenAI 带来了重新考虑其路线图的压力。