一个实用定义
上下文工程是有意识地构造 Model 或 Agent 的输入状态,包括:
task + instructions + evidence + state + tool results + metadata
-> selection/order -> model call -> observable outcome
它与 Prompt Engineering 互补,而不是取代后者。短指令仍可能很关键,大型证据集也可能完全无关。目标不是最大化上下文长度,而是提供支持任务所需的最小可信上下文。
先定义 Context Contract
在选择 Vector Database 或 Memory Store 前定义契约:
| 字段 | 问题 |
|---|---|
| Task | 需要评估什么结果? |
| Audience | 面向哪个 Principal、Tenant 或 User? |
| Evidence | 哪些来源可以支持声明? |
| Freshness | 每个来源需要多新? |
| Provenance | 每项能否追踪到来源和 Revision? |
| Sensitivity | 哪些数据可进入 Model 或 Telemetry? |
| Budget | Token、延迟、存储和成本上限? |
| Deletion | State、Index、Cache 和 Export 如何删除? |
| Failure | 证据缺失或冲突时怎么办? |
这不是只靠 Prompt 实现的规则。Retrieval Layer 和 Tool Executor 必须强制 Tenant Scope、Access Policy 和结果上限。
上下文分层
按信任和生命周期分开:
| 层级 | 示例 | 通常处理 |
|---|---|---|
| Instructions | System Policy、Task Format | 短小、版本化、已审查 |
| Working State | 当前 Turn、Plan、待执行动作 | 有界、可过期 |
| Retrieved Evidence | 文档、代码、数据库记录 | Provenance、权限、时效 |
| Durable State | 偏好、决策、Memory | Purpose、有效期、删除 |
| Environment | Tool Result、时间、Feature Flag | 来源和时间戳 |
User Text、文档、注释、Memory 和 Tool Result 都是不可信内容,可能包含改变任务、外传数据或绕过 Policy 的指令。
四类操作:Write、Select、Compress、Isolate
把上下文工程拆成四种不同操作,更容易做出可解释的决策:
| 操作 | 改变什么 | 适用情况 | 主要失败模式 |
|---|---|---|---|
| Write | 把状态外化到 Plan、Scratch File、Checkpoint 或 Ledger | 状态需要跨 Turn 或进程重启保留 | 过时或越权状态变成权威事实 |
| Select | 为下一步选择最小、相关且有权限的证据 | 大型语料中只有一部分与任务相关 | 排序掩盖证据缺口或跨越访问边界 |
| Compress | 用有界表示替换冗长历史或结果 | 相同语义必须适配更小预算 | 否定、例外、来源或待办丢失 |
| Isolate | 为子任务分配独立 Context、Tool Set 或进程边界 | 领域互相干扰或权限不同 | Handoff 丢失约束或责任不清 |
应根据需要控制的失败类型选择操作。不要只为缩短 Prompt 就创建 Sub-Agent,不要把每个瞬时 Observation 写入长期记忆,也不要压缩本可从权威来源实时读取的证据。
选择与排序
选择应面向任务,信号包括:
- Lexical 和 Semantic Relevance;
- Authority 和 Source Trust;
- Recency 与有效时间;
- Tenant 和 Object Permission;
- Diversity 与冗余;
- 必需声明的 Evidence Coverage;
- 大小、延迟和成本。
排序同样重要。将任务约束和下一步决策所需证据放在模型更容易使用的位置。不要假设固定 Top K 能跨领域通用。记录选择原因和 Item Revision 以便评估。
Chroma 的 Context Rot 研究在受控任务中评估了 18 个模型,发现随着输入长度和干扰项增加,能力会以非均匀方式下降,即使相关信息仍在 Context 内也可能出现退化。该结果没有给出通用安全 Token 阈值;它要求每个应用针对真实 Context 长度、证据位置、干扰项组合和模型版本,测量任务级质量曲线,而不是把“没有超过窗口”理解为“同样可用”。
Retrieval 不是授权
Retrieval 必须在 Ranking 前按 Access 过滤。高相似度不能授予文档访问权,Citation 也不能证明调用者拥有对象。
每项至少保留足够 Metadata 来回答:
source -> revision -> owner/tenant -> permission decision
-> retrieval reason -> context position -> model outcome
权限变化时,应将变更传播到 Index、Cache、Summary、Memory、Backup 和评估 Fixture。
带证据的压缩
压缩可以删除重复历史、日志、标记或无关字段,也可能删除否定、限定条件、例外或声明来源。
保存压缩记录:
{
"source_ids": ["doc-17@rev-4", "doc-22@rev-9"],
"summary_revision": "sum-3",
"claims": [
{
"id": "c1",
"text": "The rollout is paused for tenant B.",
"source_spans": ["doc-17#L88-L94"]
}
],
"omitted": ["raw debug logs"],
"expires_at": "recorded-by-policy"
}
保留来源链接和不确定性。评估压缩是否改变任务成功、无依据声明、拒答行为和延迟。不存在通用压缩比例或质量保证。
Compaction、Tool Result Clearing 与 Memory 解决不同问题:
| 机制 | 目标范围 | 必须保留什么 |
|---|---|---|
| Compaction | 重写过长的活跃对话或执行轨迹 | 目标、约束、决策、未完成事项和证据引用 |
| Tool Result Clearing | 提取必要状态后删除庞大临时 Observation | 结果摘要、已选事实、错误和副作用状态 |
| Memory | 跨 Run 保留有明确价值的事实或偏好 | Subject、Purpose、Provenance、有效期和删除键 |
清除 Tool Result 不等于总结整个 Run,Memory 也不是 Context 溢出的存储区。对于可变事实,应优先从 System of Record 重新读取,而不是持续携带旧摘要。
持久化与 Memory
只持久化有明确用途的信息:
- Validity Time 和 Observed Time;
- Source 与 Confidence;
- Subject 与 Tenant Scope;
- Sensitivity 与 Retention;
- Supersession 与 Deletion;
- 哪些主体或组件可以读取。
已提交的指令文件、对话摘要和 Semantic Memory 的所有权与失败模式不同。Memory 不能静默覆盖当前授权或更新来源。
Token、延迟与成本预算
Context Budget 不只包括 Model Window:
input tokens + output tokens
+ retrieval latency + reranking latency
+ storage/index cost + cache behavior
+ retries and downstream tool time
测量 p50/p95/p99 延迟和每个成功任务成本。Prompt Caching 可能在某些 Provider 和工作负载下有帮助,但必须核对 Cache Key、失效、隐私和计费语义。压缩可能减少输入,却增加一次 Model Call 并损失证据。
上下文安全
使用纵深防御:
- Retrieval 前分类和最小化数据;
- 在模型外强制身份和对象权限;
- 标记 Provenance 和不可信内容 Taint;
- 隔离 Tool 并限制 Egress;
- 限制 Retrieved Text、Tool Result 和 Memory Write;
- 破坏性或外部动作需要审批;
- 脱敏 Telemetry 并定义删除传播;
- 测试直接/间接 Prompt Injection、投毒、过时 State 和跨 Tenant 访问。
Context 是输入通道,不是 Policy 边界。不要把 Secret、Bearer Token 或无限制生产 Dump 放入 Context 文件。
评估上下文变化
改变 Retrieval、排序、压缩、Memory 或 System Instruction 都可能改变行为。维护版本化评估集:
| 评估 | 证据 |
|---|---|
| Contract | Schema、大小、权限、Provenance |
| Retrieval | Relevance、Evidence Recall、Tenant 隔离 |
| Answer | Correctness、Support、Completeness、Abstention |
| Agent | Tool、授权、重复副作用、恢复 |
| Operations | 延迟、成本、Cache 行为、故障处理 |
| Abuse | 注入、投毒、外传、删除、过时 State |
能用确定性 Oracle 的地方优先使用;开放式声明再使用经过校准的人或模型复核。模型分数不能证明 Context 安全或完整。
压缩前后测试不变量
只有在行为关键不变量仍成立时,更短的 Context 才可接受。建立 Probe 对比原始与压缩状态:
- 禁止操作、Tenant 边界和审批要求保持不变;
- 否定、例外、截止时间、单位和未解决问题仍然明确;
- 每个影响决策的声明仍能关联 Source Revision 与 Freshness;
- 已完成副作用、Idempotency Key 与 Pending Operation 不会被重复执行;
- 证据缺失或冲突仍会触发 Abstention 或 Escalation;
- 删除与 Supersession 标记传播到所有派生存储。
应比较任务结果和 Policy 行为,而不只比较摘要相似度。压缩摘要可以在词面上非常接近原文,却丢掉决定资金或安全操作的唯一例外。
一个小型 Context Builder
Builder 应明确选择和限制:
package main
import (
"fmt"
"sort"
"unicode/utf8"
)
type Evidence struct {
SourceID string
Revision string
Text string
TenantID string
Allowed bool
Relevance float64
}
func buildContext(evidence []Evidence, tenantID string, maxChars int) []Evidence {
candidates := make([]Evidence, 0, len(evidence))
for _, item := range evidence {
if item.Allowed && item.TenantID == tenantID {
candidates = append(candidates, item)
}
}
sort.SliceStable(candidates, func(left, right int) bool {
if candidates[left].Relevance == candidates[right].Relevance {
return candidates[left].SourceID < candidates[right].SourceID
}
return candidates[left].Relevance > candidates[right].Relevance
})
selected := make([]Evidence, 0, len(candidates))
used := 0
for _, item := range candidates {
size := utf8.RuneCountInString(item.Text)
if size > maxChars-used {
continue
}
selected = append(selected, item)
used += size
}
return selected
}
func main() {
evidence := []Evidence{
{SourceID: "doc-17", Revision: "4", Text: "rollout paused", TenantID: "a", Allowed: true, Relevance: 0.95},
{SourceID: "doc-22", Revision: "9", Text: "private note", TenantID: "b", Allowed: true, Relevance: 0.99},
{SourceID: "doc-31", Revision: "2", Text: "owner approved", TenantID: "a", Allowed: true, Relevance: 0.80},
}
for _, item := range buildContext(evidence, "a", 30) {
fmt.Printf("%s@%s\n", item.SourceID, item.Revision)
}
}
这是结构性片段,不是完整 Retriever。生产实现仍需要认证、对象级授权、可靠 Token 计算、过时数据处理、Provenance、分页和测试。
常见失败模式
- 把 Context Window 当成理解保证;
- 宣称 Prompt Engineering 已死亡;
- 未做访问控制就 Retrieval;
- 把相似度、Citation 或 Memory 当授权;
- 压缩掉例外和来源 Span;
- 没有 Purpose、Retention 和 Deletion 就持久化用户数据;
- 允许文档或 Tool Result 注入指令;
- 到处使用固定 Token 上限、Top K、Cache Policy 或节省比例;
- 只测回答流畅度,不测 Evidence Support;
- 将模型控制的身份、所有权、定价或角色放进 Context。
实践清单
- [ ] 定义 Task、Audience、Evidence、Freshness、Provenance、Sensitivity、Budget 和 Deletion。
- [ ] 分开 Instructions、Working State、Retrieved Evidence、Durable Memory 和 Environment。
- [ ] 在 Ranking 或注入前执行权限过滤。
- [ ] 记录 Source、Revision、选择原因和有效期。
- [ ] 压缩时保留 Source Span 和不确定性。
- [ ] 限制 Token、延迟、Tool Result、Memory Write 和 Telemetry。
- [ ] 默认 Context 排除 Secret 和无限制生产数据。
- [ ] 测试注入、投毒、过时 State、删除和跨 Tenant。
- [ ] 用任务、安全和运营证据评估 Context 变化。
- [ ] 模型分数必须服从确定性 Policy 与业务 Oracle。
常见问题
什么是上下文工程?
它负责设计和运营任务提供给模型的指令、证据、状态、Tool Result 与 Metadata。它与 Prompt Engineering 互补,还涵盖选择、Provenance、权限、预算、持久化和评估。
RAG 是上下文工程的一部分吗?
是,Retrieval 可以是其中一个组件。上下文工程还要决定允许检索什么、证据如何排序和引用、何时过期,以及应该压缩、隔离、持久化还是省略。
上下文越多,回答越好吗?
不一定。长 Context 可能增加过时事实、矛盾、干扰项、延迟和攻击面。应针对准确模型版本,在真实长度与证据位置上测量任务质量。
什么时候应该压缩上下文?
当活跃执行轨迹超过预算,且关键不变量可测试时再压缩。必须保留约束、例外、Provenance、Pending Action 和副作用状态;如果清理临时 Tool Result 或重新检索新鲜事实更安全,就不应强行摘要。
项目指令文件是安全控制吗?
不是。它只是概率模型的输入。身份、对象授权、Secret、网络出口、审批和副作用必须由可信代码与基础设施强制执行。
总结
上下文工程是有纪律地管理 LLM 或 Agent 为任务可用的信息:选择相关证据、保存 Provenance、控制 State、遵守权限并测量结果。它不是填满最大 Window 的竞赛,也不是 Prompt 设计的替代品。先建立 Context Contract,在模型外执行安全控制,再由工作负载证据决定 Retrieval、压缩、缓存或持久化是否真正有用。