核心摘要

不存在长期有效的“最强大模型榜单”。生产选型是一个带版本的工程结论,必须绑定确切模型、分词器、Prompt、工具、数据集、Harness、推理配置、价格表和评测日期。

截至 2026 年 5 月 16 日:

  • DeepSeek V4-Pro 与 V4-Flash 提供开放权重、官方服务 100 万 Token 上下文和明确 API Model ID;Pro 面向更高能力,Flash 面向吞吐和成本。
  • Qwen3.5-397B-A17B 是 Apache-2.0 开放权重的原生多模态模型,总参数 397B、每次前向激活 17B;可下载 Checkpoint 与托管版 Qwen3.5-Plus 的上下文契约并不相同。
  • Llama 4 Scout 与 Maverick 是 Meta 自定义社区许可证下的开放权重多模态 MoE;1000 万与 100 万上下文是待验证的容量上限,不代表每个位置都能稳定检索。
  • GPT-5.5 与 Claude Opus 4.7 可作为托管模型参照,但厂商没有公开其架构和参数量,不能用推测填补空白。

可执行的选型原则是:冻结 Release Identity,在相同任务上比较,计算单位成功任务成本,审计法律与运行边界,再按预先定义的阈值灰度和回滚。

这篇对比能证明什么

先把证据分层,才能避免把不同口径拼成伪排行榜:

证据类型 可以支持的结论 不能支持的结论
官方模型卡或发布说明 模型身份、声明架构、上下文上限、许可证链接、厂商价格 独立质量结论或对你业务的适用性
受控第三方评测 在一套已记录 Harness 与预算下的相对表现 跨 Prompt、工具、日期都成立的通用排名
自有生产形态评测 在确定工作负载与风险策略下的发布决策 超出该工作负载的全面优越性

厂商榜单适合作为发布证据,但各家的 Prompt、Scaffold、Token 预算和评分规则通常不同。把每家表格中的最高值拼成总榜,会制造不可比的精确感。更系统的原因分析见为什么 AI 基准测试会失效。

带日期的版本账本

下表只记录截至 2026 年 5 月 16 日可从一手资料核验的事实。采购或上线前应重新检查每一项。

Release 声明架构与规模 声明上下文 分发与许可证 运行身份
DeepSeek V4-Pro 稀疏模型;总参数 1.6T / 激活参数 49B;Token-wise Compression 与 DeepSeek Sparse Attention 官方服务均为 1M 开放权重;仓库许可证为 MIT API 模型 deepseek-v4-pro
DeepSeek V4-Flash 稀疏模型;总参数 284B / 激活参数 13B 官方服务均为 1M 开放权重;仓库许可证为 MIT API 模型 deepseek-v4-flash
Qwen3.5-397B-A17B Gated DeltaNet + 稀疏 MoE;总参数 397B / 激活参数 17B;原生视觉语言 模型卡原生 262,144,可配置至 1,010,000;托管 Plus 默认 1M 开放权重;Apache-2.0 固定 Checkpoint Revision 与 Serving Config
Llama 4 Scout 多模态 MoE;总参数 109B / 激活参数 17B 声明 10M 开放权重;Llama 4 Community License 固定仓库、权重摘要、Tokenizer 与 Runtime
Llama 4 Maverick 多模态 MoE;总参数 400B / 激活参数 17B 声明 1M 开放权重;Llama 4 Community License 固定仓库、权重摘要、Tokenizer 与 Runtime
GPT-5.5 架构与参数量未公开 OpenAI 报告 API 上下文为 1M 托管闭源服务 固定 API Model / Snapshot 与 Reasoning Setting
Claude Opus 4.7 架构与参数量未公开 以当前 API Model Contract 为准 托管闭源服务 API 模型 claude-opus-4-7

这里有两条容易遗漏的边界:

  1. 托管 Alias 可能在业务代码不变时发生行为漂移。厂商提供带日期 Snapshot 时优先固定,并保留可回放评测。
  2. Checkpoint 名称不是完整的私有化部署身份。至少记录 Weight Digest、Tokenizer Revision、Chat Template、量化制品、Inference Engine、引擎版本和 Runtime Flag。

架构只能形成假设,不能直接判胜

MoE(混合专家模型)把总存储参数与单个 Token 激活的部分参数分开,有机会改善能力与计算量的权衡,但不能做以下三个简化:

  • 激活参数不等于完整显存。 全部权重通常仍需常驻或分布到存储和加速卡上。
  • 激活参数不等于 FLOPs。 Attention、Routing、跨卡通信、序列长度、Batch Shape、Kernel 和 Speculative Decoding 都会改变实际工作量。
  • 架构不决定任务质量。 数据、训练、后训练、工具和 Serving Config 都可能主导业务结果。

Qwen3.5 将 Gated DeltaNet 线性注意力、稀疏 MoE 与 Gated Attention 组合;DeepSeek V4 报告 Token-wise Compression 与 DeepSeek Sparse Attention;Llama 4 报告多模态 Early Fusion 与稀疏专家。这些设计可以形成关于吞吐、Memory Traffic、多模态和上下文行为的可测试假设,却不能在测试前推出冠军。

对于 GPT-5.5 与 Claude Opus 4.7,厂商没有公开足以进入同一架构表的细节。正确答案是“未披露”,而不是根据外部猜测补全。

基准测试:同一个 Harness,只支持一个边界内的结论

NIST CAISI 在 2026 年 5 月发布的评测有价值,因为它在同一评测计划下比较了多款模型。以下摘录既说明这种证据的价值,也说明边界:

CAISI 基准 GPT-5.5 xhigh GPT-5.4 mini xhigh Claude Opus 4.6 max DeepSeek V4-Pro max
SWE-Bench Verified 81% 73% 79% 74%
PortBench 78% 41% 60% 44%
GPQA-Diamond 96% 87% 91% 90%
ARC-AGI-2 Semi-private 79% 未报告 63% 46%
OTIS-AIME-2025 100% 90% 92% 97%

CAISI 控制了 Agent Scaffold 与 Weighted-token Budget,并明确指出 SWE-Bench 分数会受 System Prompt、Scaffold 和 Token Budget 影响。它还发现,DeepSeek V4-Pro 在 DeepSeek 自选并自报的评测集上更强,在 CAISI 预先承诺的评测集上则出现差异。这不等于厂商数据造假,而是说明测量契约会改变结论。

Claude Opus 4.7 不在该次 CAISI 评测中,因此不能把 Anthropic 的自报成绩补入这张同条件表。OpenAI 与 Anthropic 的发布表也应明确标注“厂商自报”,不能与这里的数据合并排名。

自建评测至少应保留:

text
provider + model/snapshot + weight digest + tokenizer
prompt hash + tool schema hash + retrieval index version
dataset hash + split + harness commit + grader version
sampling/reasoning settings + token/tool/time budgets
attempt-level result + latency + usage + cost + failure class

长上下文:容量不等于有效利用

上下文窗口上限只说明某个配置接受多少 Token,不能证明模型会:

  • 在开头、中间和结尾同样稳定地找回小事实;
  • 在长 Agent 轨迹中持续遵守约束;
  • 从大量干扰项中识别真正证据;
  • 在同一预算中容纳 System Prompt、Tool Result、图片与输出;
  • 在接近上限时仍满足延迟与 KV Cache 成本。

测试应覆盖产品实际使用的长度和结构,包括证据位于首、中、尾,矛盾段落,章节重排,多跳问题与应拒答样本。结果按长度桶与位置分别报告,不要只给一个平均值。长上下文与 Lost in the Middle进一步解释了标称容量与有效利用为何不同。

长上下文也不会让 RAG 失去价值。即使全文能塞进 Prompt,检索仍可提供来源、时效性、访问控制、选择性删除和更低的单次成本。

私有化部署:先计算显存下界

对于总存储参数为 P、每参数 b bit 的权重,裸权重下界为:

text
weight_GiB = P * b / 8 / 2^30

这不是采购结论,还要加上:

  • 量化 Scale、Zero Point 与 Packing Overhead;
  • Embedding、Output Head 和保留高精度的 Tensor;
  • 与真实序列长度、Batch、层数和精度相关的 KV Cache;
  • Runtime Workspace、Kernel、Graph Capture 和内存碎片;
  • Tensor Parallel 或 Expert Parallel 的通信缓冲;
  • 副本、故障切换、可观测性和安全余量。

对于稀疏模型,估算权重存储必须使用总参数。激活参数更接近单 Token 的专家计算代理,但仍不包含 Attention 与跨设备通信。模型服务测试需要覆盖 Prefill Latency、Decode Throughput、Queue Time、Tail Latency、内存高水位,以及模型量化后的质量。成功加载 Checkpoint 不等于通过容量测试。

成本:比较单位成功任务,而不是单 Token

厂商价格是输入,不是结论。NIST 在 2026 年 5 月 1 日引用的 DeepSeek V4-Pro 开发者价格为:未缓存输入每百万 Token 1.74 美元、缓存输入 0.0145 美元、输出 3.48 美元。即便如此,NIST 在可比较基准中仍测得 V4-Pro 相对 GPT-5.4 mini 从便宜 53% 到贵 41% 不等,因为 Token 消耗和成功率不同。

使用以下口径:

text
request_cost =
  uncached_input_tokens * uncached_input_rate
  + cached_input_tokens * cached_input_rate
  + output_tokens * output_rate
  + tool、retrieval、sandbox 与 validation 成本

cost_per_accepted_task =
  (全部尝试 + 重试 + fallback + 人工复核成本)/ 成功任务数

比较时必须固定验收门槛。一个单次调用便宜、却失败两次或需要人工返工的模型,总成本可能更高。还要记录 p50 与 p95 延迟,因为重试和长尾会占用用户时间与并发资源。

自托管 TCO 则要纳入加速卡租赁或折旧、Idle Capacity、编排、存储、网络、工程人力、事故响应、升级和合规成本。AI 推理成本经济学给出了更完整的核算方法。

开放权重不是同一种法律状态

这些模型的条款存在实质差异:

  • DeepSeek V4:公开权重仓库采用 MIT。
  • Qwen3.5-397B-A17B:模型卡声明 Apache-2.0。
  • Llama 4:采用 Llama 4 Community License,包含署名、可接受使用义务,以及月活超过 7 亿的产品需另行获得许可等条件。
  • 托管模型:还受到服务条款、使用政策、数据处理协议、区域可用性和厂商控制约束。

“开放权重”“Source Available”和“Open Source AI”不能互换。OSI 的 Open Source AI Definition 还关注首选修改形式与足够的训练数据信息。宽松权重许可证也不会消除隐私、出口、行业监管、数据权利或下游模型义务。

应为每个 Release 建立物料清单:模型卡 URL、不可变制品摘要、许可证文本与版本、代码依赖、训练数据披露、Acceptable-use Policy、Provider Terms 和内部审批记录。详见开放式 AI 许可证合规指南。

面向业务的评测协议

1. 先写决策契约

定义工作负载、用户群、禁止发生的失败、人工复核边界、数据驻留、Latency SLO、预算与回滚负责人。在运行候选模型前确定“成功”的含义。

2. 构建有代表性且带版本的数据集

在不泄露生产秘密的前提下采样真实任务形态,覆盖简单、典型、困难、对抗、多语言、长上下文、工具失败和应拒答场景。保留隐藏 Holdout,并为每次发布的数据集生成 Hash。

3. 冻结执行边界

统一工具权限、检索语料、输出 Schema、最大尝试次数、Wall-clock Limit 和 Judge Policy。若 Provider 特有设置无法统一,应记录差异并缩小结论范围。

4. 同时度量质量与运行指标

用可执行或经过人工校准的 Rubric 判断任务成功,并给失败分类。同时采集 p50/p95 延迟、首 Token 时间、Token、Cache Hit、Tool Call、Retry、安全违规和单位成功任务成本;样本量允许时报告置信区间。

5. 压测失败边界

测试 Prompt Injection、工具不可用、陈旧检索、结构化输出损坏、队列过载、Provider Timeout、上下文截断、策略拒绝和 Fallback。只在 Happy Path 得分高的模型不能直接发布。

6. Shadow、Canary 与 Stop

先在 Shadow 模式回放近期流量,再以有限预算和权限进行小流量 Canary。在 LLMOps 中,Release 应预先定义回滚阈值,并保存足够的 Identity 与证据,确保路由变更可以解释和复现。

可运行的 Go 发布门禁

下面的程序不调用任何 Provider,而是演示如何消费已经评分的评测结果。它会拒绝身份不一致的制品,并检查任务成功率、p95 延迟、单位成功任务成本和安全违规。

go
package main

import (
	"fmt"
	"os"
)

type Identity struct {
	Provider    string
	Model       string
	Revision    string
	Tokenizer   string
	PromptHash  string
	DatasetHash string
	Harness     string
}

type Result struct {
	Identity
	Attempts         int
	Accepted         int
	P95LatencyMS     int
	TotalCostUSD     float64
	SafetyViolations int
}

type Limits struct {
	MinSuccessRate       float64
	MaxP95LatencyMS      int
	MaxCostPerAcceptedUS float64
}

func gate(got Result, want Identity, limits Limits) error {
	if got.Identity != want {
		return fmt.Errorf("release identity mismatch: got %+v", got.Identity)
	}
	if got.Attempts <= 0 || got.Accepted <= 0 || got.Accepted > got.Attempts {
		return fmt.Errorf("invalid attempt counts")
	}

	successRate := float64(got.Accepted) / float64(got.Attempts)
	costPerAccepted := got.TotalCostUSD / float64(got.Accepted)

	if successRate < limits.MinSuccessRate {
		return fmt.Errorf("success rate %.3f below %.3f", successRate, limits.MinSuccessRate)
	}
	if got.P95LatencyMS > limits.MaxP95LatencyMS {
		return fmt.Errorf("p95 latency %dms above %dms", got.P95LatencyMS, limits.MaxP95LatencyMS)
	}
	if costPerAccepted > limits.MaxCostPerAcceptedUS {
		return fmt.Errorf("cost per accepted task $%.4f above $%.4f", costPerAccepted, limits.MaxCostPerAcceptedUS)
	}
	if got.SafetyViolations != 0 {
		return fmt.Errorf("%d safety violations", got.SafetyViolations)
	}

	fmt.Printf("release approved: success=%.1f%% cost/accepted=$%.4f\n",
		successRate*100, costPerAccepted)
	return nil
}

func main() {
	identity := Identity{
		Provider:    "example-provider",
		Model:       "candidate-model",
		Revision:    "2026-05-16",
		Tokenizer:   "sha256:tokenizer",
		PromptHash:  "sha256:prompt",
		DatasetHash: "sha256:dataset",
		Harness:     "eval-harness@4f3a2b1",
	}
	result := Result{
		Identity:         identity,
		Attempts:         1000,
		Accepted:         950,
		P95LatencyMS:     2180,
		TotalCostUSD:     28.50,
		SafetyViolations: 0,
	}
	limits := Limits{
		MinSuccessRate:       0.92,
		MaxP95LatencyMS:      3000,
		MaxCostPerAcceptedUS: 0.04,
	}

	if err := gate(result, identity, limits); err != nil {
		fmt.Fprintln(os.Stderr, "release blocked:", err)
		os.Exit(1)
	}
}

真实流水线还应对评测制品签名,与 Baseline 和置信区间比较;安全或合规关键切片应作为硬门禁,不能被平均分掩盖。

按工作负载建立候选集

以下只是需要验证的起点:

工作负载 候选起点 发布前必须具备的证据
高吞吐抽取或分类 较小的托管或自托管候选,包括 V4-Flash 级别模型 Schema Validity、字段 Precision/Recall、拒答、单位成功文档成本
代码仓库 Agent V4-Pro、Qwen3.5、Llama 4 与托管前沿模型 自有仓库 Issue 解决率、测试质量、安全缺陷、Tool Loop、Wall-clock Cost
多语言或多模态流程 Qwen3.5 等原生多模态候选 分语言和模态切片、OCR/文档错误、文化与安全评审
隐私敏感部署 许可证兼容的开放权重候选 数据流审查、制品来源、隔离、补丁流程、容量与事故演练
超长文档或历史 上下文容量足够的候选与 RAG Baseline 按位置/长度准确率、截断、引用、延迟、KV Cache 容量
高影响决策支持 多模型候选 + 验证 + 人工复核 校准拒答、来源追踪、群体切片、Override 与 Audit Control

不要按品牌硬编码路由。模型组合应从经过测量的任务类别推导,Fallback 也必须保持安全和结果语义。

常见失败模式

失败 原因 控制措施
Alias 静默漂移 Provider 更新 Alias 或 Backend 尽可能固定 Snapshot;定期跑 Canary 与 Drift Check
Benchmark 泄漏 公开题进入训练或调优数据 保留 Private、Time-split 和 Mutation-based Holdout
Harness 偏置 模型获得不同工具、Prompt 或预算 冻结执行边界,否则明确标注不可等价
低价 Token 幻觉 Retry 与长输出抵消单价优势 统计端到端单位成功任务成本
长上下文过度承诺 把最大输入量当作可靠利用 按长度、位置、干扰项与引用正确率评测
量化意外回退 显存下降但关键切片质量受损 评测确切量化制品,而不是基础 Checkpoint
许可证漂移 新 Release 沿用旧条款假设 按制品版本保存许可证文本与审批
不安全 Fallback 故障路由改变数据或工具权限 复用同一 Policy Boundary,并显式测试 Fallback

常见问题

2026 年 5 月哪个大模型最适合编程?

没有一个模型适合所有编程负载。应使用自有仓库、语言、构建系统、工具、评审规则和失败成本构造端到端任务,并记录模型与 Harness 身份。其他 Scaffold 下的公开分数不能直接作为上线保证。

DeepSeek V4 是真正的开源模型吗?

DeepSeek 以 MIT 发布 V4 权重。一个系统是否满足更广义的 Open Source AI Definition,还涉及首选修改形式与足够的训练数据信息。应审计确切制品和全部依赖,不要让一个标签替代法律结论。

Qwen3.5 与 Llama 4 需要多少显存?

先根据总参数和精度计算裸权重,再加入元数据、高精度 Tensor、KV Cache、Runtime Workspace、跨卡通信、副本和余量。量化会同时改变显存与行为,因此必须在目标推理栈上测试最终制品。

哪个高质量 API 最便宜?

答案会随工作负载、价格区域、Cache Hit、输出长度、重试和验收门槛变化。应在相同质量线下比较单位成功任务成本。

私有化部署应选 Llama 4 还是 Qwen3.5?

Qwen3.5 提供 Apache-2.0 权重、原生多模态和广泛的声明语言覆盖;Llama 4 提供不同 Checkpoint 规模、上下文容量、生态与自定义许可证。先把这些作为候选过滤条件,再测试质量、延迟、容量、可运维性和法律适配。

一手资料

资料核验截止 2026 年 5 月 16 日:

延伸阅读