核心摘要
不存在长期有效的“最强大模型榜单”。生产选型是一个带版本的工程结论,必须绑定确切模型、分词器、Prompt、工具、数据集、Harness、推理配置、价格表和评测日期。
截至 2026 年 5 月 16 日:
- DeepSeek V4-Pro 与 V4-Flash 提供开放权重、官方服务 100 万 Token 上下文和明确 API Model ID;Pro 面向更高能力,Flash 面向吞吐和成本。
- Qwen3.5-397B-A17B 是 Apache-2.0 开放权重的原生多模态模型,总参数 397B、每次前向激活 17B;可下载 Checkpoint 与托管版 Qwen3.5-Plus 的上下文契约并不相同。
- Llama 4 Scout 与 Maverick 是 Meta 自定义社区许可证下的开放权重多模态 MoE;1000 万与 100 万上下文是待验证的容量上限,不代表每个位置都能稳定检索。
- GPT-5.5 与 Claude Opus 4.7 可作为托管模型参照,但厂商没有公开其架构和参数量,不能用推测填补空白。
可执行的选型原则是:冻结 Release Identity,在相同任务上比较,计算单位成功任务成本,审计法律与运行边界,再按预先定义的阈值灰度和回滚。
这篇对比能证明什么
先把证据分层,才能避免把不同口径拼成伪排行榜:
| 证据类型 | 可以支持的结论 | 不能支持的结论 |
|---|---|---|
| 官方模型卡或发布说明 | 模型身份、声明架构、上下文上限、许可证链接、厂商价格 | 独立质量结论或对你业务的适用性 |
| 受控第三方评测 | 在一套已记录 Harness 与预算下的相对表现 | 跨 Prompt、工具、日期都成立的通用排名 |
| 自有生产形态评测 | 在确定工作负载与风险策略下的发布决策 | 超出该工作负载的全面优越性 |
厂商榜单适合作为发布证据,但各家的 Prompt、Scaffold、Token 预算和评分规则通常不同。把每家表格中的最高值拼成总榜,会制造不可比的精确感。更系统的原因分析见为什么 AI 基准测试会失效。
带日期的版本账本
下表只记录截至 2026 年 5 月 16 日可从一手资料核验的事实。采购或上线前应重新检查每一项。
| Release | 声明架构与规模 | 声明上下文 | 分发与许可证 | 运行身份 |
|---|---|---|---|---|
| DeepSeek V4-Pro | 稀疏模型;总参数 1.6T / 激活参数 49B;Token-wise Compression 与 DeepSeek Sparse Attention | 官方服务均为 1M | 开放权重;仓库许可证为 MIT | API 模型 deepseek-v4-pro |
| DeepSeek V4-Flash | 稀疏模型;总参数 284B / 激活参数 13B | 官方服务均为 1M | 开放权重;仓库许可证为 MIT | API 模型 deepseek-v4-flash |
| Qwen3.5-397B-A17B | Gated DeltaNet + 稀疏 MoE;总参数 397B / 激活参数 17B;原生视觉语言 | 模型卡原生 262,144,可配置至 1,010,000;托管 Plus 默认 1M | 开放权重;Apache-2.0 | 固定 Checkpoint Revision 与 Serving Config |
| Llama 4 Scout | 多模态 MoE;总参数 109B / 激活参数 17B | 声明 10M | 开放权重;Llama 4 Community License | 固定仓库、权重摘要、Tokenizer 与 Runtime |
| Llama 4 Maverick | 多模态 MoE;总参数 400B / 激活参数 17B | 声明 1M | 开放权重;Llama 4 Community License | 固定仓库、权重摘要、Tokenizer 与 Runtime |
| GPT-5.5 | 架构与参数量未公开 | OpenAI 报告 API 上下文为 1M | 托管闭源服务 | 固定 API Model / Snapshot 与 Reasoning Setting |
| Claude Opus 4.7 | 架构与参数量未公开 | 以当前 API Model Contract 为准 | 托管闭源服务 | API 模型 claude-opus-4-7 |
这里有两条容易遗漏的边界:
- 托管 Alias 可能在业务代码不变时发生行为漂移。厂商提供带日期 Snapshot 时优先固定,并保留可回放评测。
- Checkpoint 名称不是完整的私有化部署身份。至少记录 Weight Digest、Tokenizer Revision、Chat Template、量化制品、Inference Engine、引擎版本和 Runtime Flag。
架构只能形成假设,不能直接判胜
MoE(混合专家模型)把总存储参数与单个 Token 激活的部分参数分开,有机会改善能力与计算量的权衡,但不能做以下三个简化:
- 激活参数不等于完整显存。 全部权重通常仍需常驻或分布到存储和加速卡上。
- 激活参数不等于 FLOPs。 Attention、Routing、跨卡通信、序列长度、Batch Shape、Kernel 和 Speculative Decoding 都会改变实际工作量。
- 架构不决定任务质量。 数据、训练、后训练、工具和 Serving Config 都可能主导业务结果。
Qwen3.5 将 Gated DeltaNet 线性注意力、稀疏 MoE 与 Gated Attention 组合;DeepSeek V4 报告 Token-wise Compression 与 DeepSeek Sparse Attention;Llama 4 报告多模态 Early Fusion 与稀疏专家。这些设计可以形成关于吞吐、Memory Traffic、多模态和上下文行为的可测试假设,却不能在测试前推出冠军。
对于 GPT-5.5 与 Claude Opus 4.7,厂商没有公开足以进入同一架构表的细节。正确答案是“未披露”,而不是根据外部猜测补全。
基准测试:同一个 Harness,只支持一个边界内的结论
NIST CAISI 在 2026 年 5 月发布的评测有价值,因为它在同一评测计划下比较了多款模型。以下摘录既说明这种证据的价值,也说明边界:
| CAISI 基准 | GPT-5.5 xhigh | GPT-5.4 mini xhigh | Claude Opus 4.6 max | DeepSeek V4-Pro max |
|---|---|---|---|---|
| SWE-Bench Verified | 81% | 73% | 79% | 74% |
| PortBench | 78% | 41% | 60% | 44% |
| GPQA-Diamond | 96% | 87% | 91% | 90% |
| ARC-AGI-2 Semi-private | 79% | 未报告 | 63% | 46% |
| OTIS-AIME-2025 | 100% | 90% | 92% | 97% |
CAISI 控制了 Agent Scaffold 与 Weighted-token Budget,并明确指出 SWE-Bench 分数会受 System Prompt、Scaffold 和 Token Budget 影响。它还发现,DeepSeek V4-Pro 在 DeepSeek 自选并自报的评测集上更强,在 CAISI 预先承诺的评测集上则出现差异。这不等于厂商数据造假,而是说明测量契约会改变结论。
Claude Opus 4.7 不在该次 CAISI 评测中,因此不能把 Anthropic 的自报成绩补入这张同条件表。OpenAI 与 Anthropic 的发布表也应明确标注“厂商自报”,不能与这里的数据合并排名。
自建评测至少应保留:
provider + model/snapshot + weight digest + tokenizer
prompt hash + tool schema hash + retrieval index version
dataset hash + split + harness commit + grader version
sampling/reasoning settings + token/tool/time budgets
attempt-level result + latency + usage + cost + failure class
长上下文:容量不等于有效利用
上下文窗口上限只说明某个配置接受多少 Token,不能证明模型会:
- 在开头、中间和结尾同样稳定地找回小事实;
- 在长 Agent 轨迹中持续遵守约束;
- 从大量干扰项中识别真正证据;
- 在同一预算中容纳 System Prompt、Tool Result、图片与输出;
- 在接近上限时仍满足延迟与 KV Cache 成本。
测试应覆盖产品实际使用的长度和结构,包括证据位于首、中、尾,矛盾段落,章节重排,多跳问题与应拒答样本。结果按长度桶与位置分别报告,不要只给一个平均值。长上下文与 Lost in the Middle进一步解释了标称容量与有效利用为何不同。
长上下文也不会让 RAG 失去价值。即使全文能塞进 Prompt,检索仍可提供来源、时效性、访问控制、选择性删除和更低的单次成本。
私有化部署:先计算显存下界
对于总存储参数为 P、每参数 b bit 的权重,裸权重下界为:
weight_GiB = P * b / 8 / 2^30
这不是采购结论,还要加上:
- 量化 Scale、Zero Point 与 Packing Overhead;
- Embedding、Output Head 和保留高精度的 Tensor;
- 与真实序列长度、Batch、层数和精度相关的 KV Cache;
- Runtime Workspace、Kernel、Graph Capture 和内存碎片;
- Tensor Parallel 或 Expert Parallel 的通信缓冲;
- 副本、故障切换、可观测性和安全余量。
对于稀疏模型,估算权重存储必须使用总参数。激活参数更接近单 Token 的专家计算代理,但仍不包含 Attention 与跨设备通信。模型服务测试需要覆盖 Prefill Latency、Decode Throughput、Queue Time、Tail Latency、内存高水位,以及模型量化后的质量。成功加载 Checkpoint 不等于通过容量测试。
成本:比较单位成功任务,而不是单 Token
厂商价格是输入,不是结论。NIST 在 2026 年 5 月 1 日引用的 DeepSeek V4-Pro 开发者价格为:未缓存输入每百万 Token 1.74 美元、缓存输入 0.0145 美元、输出 3.48 美元。即便如此,NIST 在可比较基准中仍测得 V4-Pro 相对 GPT-5.4 mini 从便宜 53% 到贵 41% 不等,因为 Token 消耗和成功率不同。
使用以下口径:
request_cost =
uncached_input_tokens * uncached_input_rate
+ cached_input_tokens * cached_input_rate
+ output_tokens * output_rate
+ tool、retrieval、sandbox 与 validation 成本
cost_per_accepted_task =
(全部尝试 + 重试 + fallback + 人工复核成本)/ 成功任务数
比较时必须固定验收门槛。一个单次调用便宜、却失败两次或需要人工返工的模型,总成本可能更高。还要记录 p50 与 p95 延迟,因为重试和长尾会占用用户时间与并发资源。
自托管 TCO 则要纳入加速卡租赁或折旧、Idle Capacity、编排、存储、网络、工程人力、事故响应、升级和合规成本。AI 推理成本经济学给出了更完整的核算方法。
开放权重不是同一种法律状态
这些模型的条款存在实质差异:
- DeepSeek V4:公开权重仓库采用 MIT。
- Qwen3.5-397B-A17B:模型卡声明 Apache-2.0。
- Llama 4:采用 Llama 4 Community License,包含署名、可接受使用义务,以及月活超过 7 亿的产品需另行获得许可等条件。
- 托管模型:还受到服务条款、使用政策、数据处理协议、区域可用性和厂商控制约束。
“开放权重”“Source Available”和“Open Source AI”不能互换。OSI 的 Open Source AI Definition 还关注首选修改形式与足够的训练数据信息。宽松权重许可证也不会消除隐私、出口、行业监管、数据权利或下游模型义务。
应为每个 Release 建立物料清单:模型卡 URL、不可变制品摘要、许可证文本与版本、代码依赖、训练数据披露、Acceptable-use Policy、Provider Terms 和内部审批记录。详见开放式 AI 许可证合规指南。
面向业务的评测协议
1. 先写决策契约
定义工作负载、用户群、禁止发生的失败、人工复核边界、数据驻留、Latency SLO、预算与回滚负责人。在运行候选模型前确定“成功”的含义。
2. 构建有代表性且带版本的数据集
在不泄露生产秘密的前提下采样真实任务形态,覆盖简单、典型、困难、对抗、多语言、长上下文、工具失败和应拒答场景。保留隐藏 Holdout,并为每次发布的数据集生成 Hash。
3. 冻结执行边界
统一工具权限、检索语料、输出 Schema、最大尝试次数、Wall-clock Limit 和 Judge Policy。若 Provider 特有设置无法统一,应记录差异并缩小结论范围。
4. 同时度量质量与运行指标
用可执行或经过人工校准的 Rubric 判断任务成功,并给失败分类。同时采集 p50/p95 延迟、首 Token 时间、Token、Cache Hit、Tool Call、Retry、安全违规和单位成功任务成本;样本量允许时报告置信区间。
5. 压测失败边界
测试 Prompt Injection、工具不可用、陈旧检索、结构化输出损坏、队列过载、Provider Timeout、上下文截断、策略拒绝和 Fallback。只在 Happy Path 得分高的模型不能直接发布。
6. Shadow、Canary 与 Stop
先在 Shadow 模式回放近期流量,再以有限预算和权限进行小流量 Canary。在 LLMOps 中,Release 应预先定义回滚阈值,并保存足够的 Identity 与证据,确保路由变更可以解释和复现。
可运行的 Go 发布门禁
下面的程序不调用任何 Provider,而是演示如何消费已经评分的评测结果。它会拒绝身份不一致的制品,并检查任务成功率、p95 延迟、单位成功任务成本和安全违规。
package main
import (
"fmt"
"os"
)
type Identity struct {
Provider string
Model string
Revision string
Tokenizer string
PromptHash string
DatasetHash string
Harness string
}
type Result struct {
Identity
Attempts int
Accepted int
P95LatencyMS int
TotalCostUSD float64
SafetyViolations int
}
type Limits struct {
MinSuccessRate float64
MaxP95LatencyMS int
MaxCostPerAcceptedUS float64
}
func gate(got Result, want Identity, limits Limits) error {
if got.Identity != want {
return fmt.Errorf("release identity mismatch: got %+v", got.Identity)
}
if got.Attempts <= 0 || got.Accepted <= 0 || got.Accepted > got.Attempts {
return fmt.Errorf("invalid attempt counts")
}
successRate := float64(got.Accepted) / float64(got.Attempts)
costPerAccepted := got.TotalCostUSD / float64(got.Accepted)
if successRate < limits.MinSuccessRate {
return fmt.Errorf("success rate %.3f below %.3f", successRate, limits.MinSuccessRate)
}
if got.P95LatencyMS > limits.MaxP95LatencyMS {
return fmt.Errorf("p95 latency %dms above %dms", got.P95LatencyMS, limits.MaxP95LatencyMS)
}
if costPerAccepted > limits.MaxCostPerAcceptedUS {
return fmt.Errorf("cost per accepted task $%.4f above $%.4f", costPerAccepted, limits.MaxCostPerAcceptedUS)
}
if got.SafetyViolations != 0 {
return fmt.Errorf("%d safety violations", got.SafetyViolations)
}
fmt.Printf("release approved: success=%.1f%% cost/accepted=$%.4f\n",
successRate*100, costPerAccepted)
return nil
}
func main() {
identity := Identity{
Provider: "example-provider",
Model: "candidate-model",
Revision: "2026-05-16",
Tokenizer: "sha256:tokenizer",
PromptHash: "sha256:prompt",
DatasetHash: "sha256:dataset",
Harness: "eval-harness@4f3a2b1",
}
result := Result{
Identity: identity,
Attempts: 1000,
Accepted: 950,
P95LatencyMS: 2180,
TotalCostUSD: 28.50,
SafetyViolations: 0,
}
limits := Limits{
MinSuccessRate: 0.92,
MaxP95LatencyMS: 3000,
MaxCostPerAcceptedUS: 0.04,
}
if err := gate(result, identity, limits); err != nil {
fmt.Fprintln(os.Stderr, "release blocked:", err)
os.Exit(1)
}
}
真实流水线还应对评测制品签名,与 Baseline 和置信区间比较;安全或合规关键切片应作为硬门禁,不能被平均分掩盖。
按工作负载建立候选集
以下只是需要验证的起点:
| 工作负载 | 候选起点 | 发布前必须具备的证据 |
|---|---|---|
| 高吞吐抽取或分类 | 较小的托管或自托管候选,包括 V4-Flash 级别模型 | Schema Validity、字段 Precision/Recall、拒答、单位成功文档成本 |
| 代码仓库 Agent | V4-Pro、Qwen3.5、Llama 4 与托管前沿模型 | 自有仓库 Issue 解决率、测试质量、安全缺陷、Tool Loop、Wall-clock Cost |
| 多语言或多模态流程 | Qwen3.5 等原生多模态候选 | 分语言和模态切片、OCR/文档错误、文化与安全评审 |
| 隐私敏感部署 | 许可证兼容的开放权重候选 | 数据流审查、制品来源、隔离、补丁流程、容量与事故演练 |
| 超长文档或历史 | 上下文容量足够的候选与 RAG Baseline | 按位置/长度准确率、截断、引用、延迟、KV Cache 容量 |
| 高影响决策支持 | 多模型候选 + 验证 + 人工复核 | 校准拒答、来源追踪、群体切片、Override 与 Audit Control |
不要按品牌硬编码路由。模型组合应从经过测量的任务类别推导,Fallback 也必须保持安全和结果语义。
常见失败模式
| 失败 | 原因 | 控制措施 |
|---|---|---|
| Alias 静默漂移 | Provider 更新 Alias 或 Backend | 尽可能固定 Snapshot;定期跑 Canary 与 Drift Check |
| Benchmark 泄漏 | 公开题进入训练或调优数据 | 保留 Private、Time-split 和 Mutation-based Holdout |
| Harness 偏置 | 模型获得不同工具、Prompt 或预算 | 冻结执行边界,否则明确标注不可等价 |
| 低价 Token 幻觉 | Retry 与长输出抵消单价优势 | 统计端到端单位成功任务成本 |
| 长上下文过度承诺 | 把最大输入量当作可靠利用 | 按长度、位置、干扰项与引用正确率评测 |
| 量化意外回退 | 显存下降但关键切片质量受损 | 评测确切量化制品,而不是基础 Checkpoint |
| 许可证漂移 | 新 Release 沿用旧条款假设 | 按制品版本保存许可证文本与审批 |
| 不安全 Fallback | 故障路由改变数据或工具权限 | 复用同一 Policy Boundary,并显式测试 Fallback |
常见问题
2026 年 5 月哪个大模型最适合编程?
没有一个模型适合所有编程负载。应使用自有仓库、语言、构建系统、工具、评审规则和失败成本构造端到端任务,并记录模型与 Harness 身份。其他 Scaffold 下的公开分数不能直接作为上线保证。
DeepSeek V4 是真正的开源模型吗?
DeepSeek 以 MIT 发布 V4 权重。一个系统是否满足更广义的 Open Source AI Definition,还涉及首选修改形式与足够的训练数据信息。应审计确切制品和全部依赖,不要让一个标签替代法律结论。
Qwen3.5 与 Llama 4 需要多少显存?
先根据总参数和精度计算裸权重,再加入元数据、高精度 Tensor、KV Cache、Runtime Workspace、跨卡通信、副本和余量。量化会同时改变显存与行为,因此必须在目标推理栈上测试最终制品。
哪个高质量 API 最便宜?
答案会随工作负载、价格区域、Cache Hit、输出长度、重试和验收门槛变化。应在相同质量线下比较单位成功任务成本。
私有化部署应选 Llama 4 还是 Qwen3.5?
Qwen3.5 提供 Apache-2.0 权重、原生多模态和广泛的声明语言覆盖;Llama 4 提供不同 Checkpoint 规模、上下文容量、生态与自定义许可证。先把这些作为候选过滤条件,再测试质量、延迟、容量、可运维性和法律适配。
一手资料
资料核验截止 2026 年 5 月 16 日:
- DeepSeek V4 Preview 发布说明:模型规模、官方服务 1M 上下文、API ID 与开放权重链接。
- DeepSeek V4-Pro 模型仓库:模型卡、制品、技术报告与仓库许可证。
- Qwen3.5 发布说明与Qwen3.5-397B-A17B 模型卡:架构、规模、模态、语言覆盖、上下文和 Apache-2.0 声明。
- Llama 4 模型卡与许可证:Scout、Maverick 规格与使用义务。
- NIST CAISI 对 DeepSeek V4-Pro 的评测:受控基准结果、方法边界与任务级成本。
- GPT-5.5 发布说明与Claude Opus 4.7 发布说明:托管模型可用性、厂商自报评测、Model ID 与价格。
- Stanford HELM Long Context:透明的长上下文评测方法。
- Open Source AI Definition 1.0:权重可访问与 Open Source AI 的边界。