一个实用定义

上下文工程是有意识地构造 Model 或 Agent 的输入状态,包括:

text
task + instructions + evidence + state + tool results + metadata
       -> selection/order -> model call -> observable outcome

它与 Prompt Engineering 互补,而不是取代后者。短指令仍可能很关键,大型证据集也可能完全无关。目标不是最大化上下文长度,而是提供支持任务所需的最小可信上下文。

先定义 Context Contract

在选择 Vector Database 或 Memory Store 前定义契约:

字段 问题
Task 需要评估什么结果?
Audience 面向哪个 Principal、Tenant 或 User?
Evidence 哪些来源可以支持声明?
Freshness 每个来源需要多新?
Provenance 每项能否追踪到来源和 Revision?
Sensitivity 哪些数据可进入 Model 或 Telemetry?
Budget Token、延迟、存储和成本上限?
Deletion State、Index、Cache 和 Export 如何删除?
Failure 证据缺失或冲突时怎么办?

这不是只靠 Prompt 实现的规则。Retrieval Layer 和 Tool Executor 必须强制 Tenant Scope、Access Policy 和结果上限。

上下文分层

按信任和生命周期分开:

层级 示例 通常处理
Instructions System Policy、Task Format 短小、版本化、已审查
Working State 当前 Turn、Plan、待执行动作 有界、可过期
Retrieved Evidence 文档、代码、数据库记录 Provenance、权限、时效
Durable State 偏好、决策、Memory Purpose、有效期、删除
Environment Tool Result、时间、Feature Flag 来源和时间戳

User Text、文档、注释、Memory 和 Tool Result 都是不可信内容,可能包含改变任务、外传数据或绕过 Policy 的指令。

四类操作:Write、Select、Compress、Isolate

把上下文工程拆成四种不同操作,更容易做出可解释的决策:

操作 改变什么 适用情况 主要失败模式
Write 把状态外化到 Plan、Scratch File、Checkpoint 或 Ledger 状态需要跨 Turn 或进程重启保留 过时或越权状态变成权威事实
Select 为下一步选择最小、相关且有权限的证据 大型语料中只有一部分与任务相关 排序掩盖证据缺口或跨越访问边界
Compress 用有界表示替换冗长历史或结果 相同语义必须适配更小预算 否定、例外、来源或待办丢失
Isolate 为子任务分配独立 Context、Tool Set 或进程边界 领域互相干扰或权限不同 Handoff 丢失约束或责任不清

应根据需要控制的失败类型选择操作。不要只为缩短 Prompt 就创建 Sub-Agent,不要把每个瞬时 Observation 写入长期记忆,也不要压缩本可从权威来源实时读取的证据。

选择与排序

选择应面向任务,信号包括:

  • Lexical 和 Semantic Relevance;
  • Authority 和 Source Trust;
  • Recency 与有效时间;
  • Tenant 和 Object Permission;
  • Diversity 与冗余;
  • 必需声明的 Evidence Coverage;
  • 大小、延迟和成本。

排序同样重要。将任务约束和下一步决策所需证据放在模型更容易使用的位置。不要假设固定 Top K 能跨领域通用。记录选择原因和 Item Revision 以便评估。

Chroma 的 Context Rot 研究在受控任务中评估了 18 个模型,发现随着输入长度和干扰项增加,能力会以非均匀方式下降,即使相关信息仍在 Context 内也可能出现退化。该结果没有给出通用安全 Token 阈值;它要求每个应用针对真实 Context 长度、证据位置、干扰项组合和模型版本,测量任务级质量曲线,而不是把“没有超过窗口”理解为“同样可用”。

Retrieval 不是授权

Retrieval 必须在 Ranking 前按 Access 过滤。高相似度不能授予文档访问权,Citation 也不能证明调用者拥有对象。

每项至少保留足够 Metadata 来回答:

text
source -> revision -> owner/tenant -> permission decision
      -> retrieval reason -> context position -> model outcome

权限变化时,应将变更传播到 Index、Cache、Summary、Memory、Backup 和评估 Fixture。

带证据的压缩

压缩可以删除重复历史、日志、标记或无关字段,也可能删除否定、限定条件、例外或声明来源。

保存压缩记录:

json
{
  "source_ids": ["doc-17@rev-4", "doc-22@rev-9"],
  "summary_revision": "sum-3",
  "claims": [
    {
      "id": "c1",
      "text": "The rollout is paused for tenant B.",
      "source_spans": ["doc-17#L88-L94"]
    }
  ],
  "omitted": ["raw debug logs"],
  "expires_at": "recorded-by-policy"
}

保留来源链接和不确定性。评估压缩是否改变任务成功、无依据声明、拒答行为和延迟。不存在通用压缩比例或质量保证。

Compaction、Tool Result Clearing 与 Memory 解决不同问题:

机制 目标范围 必须保留什么
Compaction 重写过长的活跃对话或执行轨迹 目标、约束、决策、未完成事项和证据引用
Tool Result Clearing 提取必要状态后删除庞大临时 Observation 结果摘要、已选事实、错误和副作用状态
Memory 跨 Run 保留有明确价值的事实或偏好 Subject、Purpose、Provenance、有效期和删除键

清除 Tool Result 不等于总结整个 Run,Memory 也不是 Context 溢出的存储区。对于可变事实,应优先从 System of Record 重新读取,而不是持续携带旧摘要。

持久化与 Memory

只持久化有明确用途的信息:

  • Validity Time 和 Observed Time;
  • Source 与 Confidence;
  • Subject 与 Tenant Scope;
  • Sensitivity 与 Retention;
  • Supersession 与 Deletion;
  • 哪些主体或组件可以读取。

已提交的指令文件、对话摘要和 Semantic Memory 的所有权与失败模式不同。Memory 不能静默覆盖当前授权或更新来源。

Token、延迟与成本预算

Context Budget 不只包括 Model Window:

text
input tokens + output tokens
+ retrieval latency + reranking latency
+ storage/index cost + cache behavior
+ retries and downstream tool time

测量 p50/p95/p99 延迟和每个成功任务成本。Prompt Caching 可能在某些 Provider 和工作负载下有帮助,但必须核对 Cache Key、失效、隐私和计费语义。压缩可能减少输入,却增加一次 Model Call 并损失证据。

上下文安全

使用纵深防御:

  • Retrieval 前分类和最小化数据;
  • 在模型外强制身份和对象权限;
  • 标记 Provenance 和不可信内容 Taint;
  • 隔离 Tool 并限制 Egress;
  • 限制 Retrieved Text、Tool Result 和 Memory Write;
  • 破坏性或外部动作需要审批;
  • 脱敏 Telemetry 并定义删除传播;
  • 测试直接/间接 Prompt Injection、投毒、过时 State 和跨 Tenant 访问。

Context 是输入通道,不是 Policy 边界。不要把 Secret、Bearer Token 或无限制生产 Dump 放入 Context 文件。

评估上下文变化

改变 Retrieval、排序、压缩、Memory 或 System Instruction 都可能改变行为。维护版本化评估集:

评估 证据
Contract Schema、大小、权限、Provenance
Retrieval Relevance、Evidence Recall、Tenant 隔离
Answer Correctness、Support、Completeness、Abstention
Agent Tool、授权、重复副作用、恢复
Operations 延迟、成本、Cache 行为、故障处理
Abuse 注入、投毒、外传、删除、过时 State

能用确定性 Oracle 的地方优先使用;开放式声明再使用经过校准的人或模型复核。模型分数不能证明 Context 安全或完整。

压缩前后测试不变量

只有在行为关键不变量仍成立时,更短的 Context 才可接受。建立 Probe 对比原始与压缩状态:

  • 禁止操作、Tenant 边界和审批要求保持不变;
  • 否定、例外、截止时间、单位和未解决问题仍然明确;
  • 每个影响决策的声明仍能关联 Source Revision 与 Freshness;
  • 已完成副作用、Idempotency Key 与 Pending Operation 不会被重复执行;
  • 证据缺失或冲突仍会触发 Abstention 或 Escalation;
  • 删除与 Supersession 标记传播到所有派生存储。

应比较任务结果和 Policy 行为,而不只比较摘要相似度。压缩摘要可以在词面上非常接近原文,却丢掉决定资金或安全操作的唯一例外。

一个小型 Context Builder

Builder 应明确选择和限制:

go
package main

import (
	"fmt"
	"sort"
	"unicode/utf8"
)

type Evidence struct {
	SourceID  string
	Revision  string
	Text      string
	TenantID  string
	Allowed   bool
	Relevance float64
}

func buildContext(evidence []Evidence, tenantID string, maxChars int) []Evidence {
	candidates := make([]Evidence, 0, len(evidence))
	for _, item := range evidence {
		if item.Allowed && item.TenantID == tenantID {
			candidates = append(candidates, item)
		}
	}
	sort.SliceStable(candidates, func(left, right int) bool {
		if candidates[left].Relevance == candidates[right].Relevance {
			return candidates[left].SourceID < candidates[right].SourceID
		}
		return candidates[left].Relevance > candidates[right].Relevance
	})

	selected := make([]Evidence, 0, len(candidates))
	used := 0
	for _, item := range candidates {
		size := utf8.RuneCountInString(item.Text)
		if size > maxChars-used {
			continue
		}
		selected = append(selected, item)
		used += size
	}
	return selected
}

func main() {
	evidence := []Evidence{
		{SourceID: "doc-17", Revision: "4", Text: "rollout paused", TenantID: "a", Allowed: true, Relevance: 0.95},
		{SourceID: "doc-22", Revision: "9", Text: "private note", TenantID: "b", Allowed: true, Relevance: 0.99},
		{SourceID: "doc-31", Revision: "2", Text: "owner approved", TenantID: "a", Allowed: true, Relevance: 0.80},
	}
	for _, item := range buildContext(evidence, "a", 30) {
		fmt.Printf("%s@%s\n", item.SourceID, item.Revision)
	}
}

这是结构性片段,不是完整 Retriever。生产实现仍需要认证、对象级授权、可靠 Token 计算、过时数据处理、Provenance、分页和测试。

常见失败模式

  • 把 Context Window 当成理解保证;
  • 宣称 Prompt Engineering 已死亡;
  • 未做访问控制就 Retrieval;
  • 把相似度、Citation 或 Memory 当授权;
  • 压缩掉例外和来源 Span;
  • 没有 Purpose、Retention 和 Deletion 就持久化用户数据;
  • 允许文档或 Tool Result 注入指令;
  • 到处使用固定 Token 上限、Top K、Cache Policy 或节省比例;
  • 只测回答流畅度,不测 Evidence Support;
  • 将模型控制的身份、所有权、定价或角色放进 Context。

实践清单

  • [ ] 定义 Task、Audience、Evidence、Freshness、Provenance、Sensitivity、Budget 和 Deletion。
  • [ ] 分开 Instructions、Working State、Retrieved Evidence、Durable Memory 和 Environment。
  • [ ] 在 Ranking 或注入前执行权限过滤。
  • [ ] 记录 Source、Revision、选择原因和有效期。
  • [ ] 压缩时保留 Source Span 和不确定性。
  • [ ] 限制 Token、延迟、Tool Result、Memory Write 和 Telemetry。
  • [ ] 默认 Context 排除 Secret 和无限制生产数据。
  • [ ] 测试注入、投毒、过时 State、删除和跨 Tenant。
  • [ ] 用任务、安全和运营证据评估 Context 变化。
  • [ ] 模型分数必须服从确定性 Policy 与业务 Oracle。

常见问题

什么是上下文工程?

它负责设计和运营任务提供给模型的指令、证据、状态、Tool Result 与 Metadata。它与 Prompt Engineering 互补,还涵盖选择、Provenance、权限、预算、持久化和评估。

RAG 是上下文工程的一部分吗?

是,Retrieval 可以是其中一个组件。上下文工程还要决定允许检索什么、证据如何排序和引用、何时过期,以及应该压缩、隔离、持久化还是省略。

上下文越多,回答越好吗?

不一定。长 Context 可能增加过时事实、矛盾、干扰项、延迟和攻击面。应针对准确模型版本,在真实长度与证据位置上测量任务质量。

什么时候应该压缩上下文?

当活跃执行轨迹超过预算,且关键不变量可测试时再压缩。必须保留约束、例外、Provenance、Pending Action 和副作用状态;如果清理临时 Tool Result 或重新检索新鲜事实更安全,就不应强行摘要。

项目指令文件是安全控制吗?

不是。它只是概率模型的输入。身份、对象授权、Secret、网络出口、审批和副作用必须由可信代码与基础设施强制执行。

总结

上下文工程是有纪律地管理 LLM 或 Agent 为任务可用的信息:选择相关证据、保存 Provenance、控制 State、遵守权限并测量结果。它不是填满最大 Window 的竞赛,也不是 Prompt 设计的替代品。先建立 Context Contract,在模型外执行安全控制,再由工作负载证据决定 Retrieval、压缩、缓存或持久化是否真正有用。

一手来源