核心摘要

Loop Engineering 把控制权提升到单次 Agent 运行之外。它不再依赖人逐轮输入 Prompt,而是让外层系统:

  1. 发现或接收边界明确的工作;
  2. 读取持久状态;
  3. 选择确定性工具、工作流或 Agent;
  4. 在权限与预算限制内执行;
  5. 验证可观察证据;
  6. 持久化结果;
  7. 决定停止、重试、回滚或交给人工。

重复 Prompt 反而是最不重要的部分。Loop 的工程价值来自明确的状态迁移、独立证据、有界权限,以及运维者能够理解的终止原因。

哪些场景不应该使用 Loop

先选择能满足需求的最简单系统:

场景 更合适的默认方案
Schema 稳定的一次转换 确定性函数
步骤和分支已知 工作流或状态机
高频只读巡检 定时任务与报告
需要根据环境反馈探索路径 有界 Agent Loop
高影响且证据模糊的动作 人工负责的工作流

Anthropic 把 Agentic System 分为两类:工作流由代码预定义路径,Agent 则由模型动态决定过程和工具。这个区别很重要,因为 Agent Loop 用更高延迟、成本和不确定性换取灵活性。只有实测收益足够时,才值得接受这种交换。

外层控制循环

一次 AI Agent 运行内部可能已经包含推理、工具调用和错误恢复;Loop Engineering 负责跨运行治理:

graph TD A["Ready"] -->|租用工作项| B["Running"] B -->|执行器返回证据| C["Verifying"] C -->|验收契约通过| D["Succeeded"] C -->|可重试且预算充足| A C -->|需要判断或权限| E["Escalated"] B -->|不可重试错误| F["Failed"] A -->|截止时间或预算耗尽| G["Expired"]

图中每一条边都应有契约。如果系统只有“再试一次”这一种失败策略,它就不是可靠闭环。

一个 Loop 必须具备的六类契约

1. 目标与工作项契约

定义有版本的目标、有限输入集、验收标准、非目标、截止时间和负责人。为工作项分配稳定 ID,防止重试重复创建任务。

“持续优化仓库”不是合格目标;“针对 PR 184,归类每个失败检查,只修改受影响包,在指定检查通过或连续两次失败时停止”才可验证。

2. 触发与租约契约

触发器可以是定时任务、队列消息、仓库事件、失败检查或用户命令,但“被触发”不代表“获得执行权限”。

调度器应当:

  • 按工作项和目标版本去重;
  • 获取带过期时间的租约;
  • 除非明确隔离,否则阻止多个写入者重叠执行;
  • 记录本次运行由谁或什么事件发起;
  • 底层对象变化后拒绝过期事件。

3. 状态契约

状态必须能跨进程重启和上下文压缩保存。结构化事实与散文笔记要分开:

状态 示例
标识 工作项、租户、仓库、目标版本
进度 尝试次数、当前阶段、已完成步骤
证据 测试运行、diff 摘要、来源版本、时间戳
预算 Token、费用、工具调用、已用时间
副作用 PR、部署、工单、幂等键
终态 成功、失败、过期、升级原因

Markdown 进度文件便于人阅读,但并发、租约和幂等应由数据库或经过校验的结构化记录负责。

4. 执行契约

只给执行器完成任务所需的最小工具和数据。区分读取、草稿、写入、发布和破坏性权限。代码修改使用沙箱或隔离 Worktree,凭据绑定到当前租户与任务。

Agent 返回的应是证据引用,而不是一句“已完成”。证据可以是 diff 摘要、命令与退出码、测试产物、来源 URL 或不可变对象版本。

5. 验证契约

验证强度必须匹配声明:

声明 更强的证据
代码可以编译 在变更版本上执行的干净构建
回归问题已修复 修复前可复现失败,修复后通过
API 授权正确 未认证和跨租户负向测试
内容仍然有效 一手来源、访问时间和矛盾检查
副作用成功 使用幂等键从权威系统回读
用户任务完成 代表性任务结果,而不是活动数量

审阅模型能检查语义,但不能替代权威系统回读或可执行测试。生成者与验证者也不能共享同一组未经验证的假设。

6. 停止与升级契约

执行前就定义终态:

  • succeeded:每项必要断言都有当前证据;
  • failed:遇到不可重试条件;
  • expired:时间或预算耗尽;
  • escalated:权限、产品判断或缺失信息需要人工;
  • cancelled:负责人主动停止;
  • outcome unknown:副作用可能已经发生,但无法确认。

绝不能把 “outcome unknown” 直接映射成重试。应先对账,否则付款、部署、消息或数据写入可能重复发生。

用 Go 实现一个最小有界控制器

策略由控制器持有,执行器不能自行决定预算或宣布成功:

go
type RunState struct {
	WorkItemID string
	Attempt    int
	ToolCalls  int
	StartedAt  time.Time
	Status     string
	LastReason string
}

type Evidence struct {
	Revision  string
	Artifacts []string
}

type Policy struct {
	MaxAttempts int
	MaxToolCalls int
	MaxDuration  time.Duration
}

func advance(
	ctx context.Context,
	state RunState,
	policy Policy,
	execute func(context.Context, RunState) (Evidence, error),
	verify func(context.Context, Evidence) (bool, string),
) RunState {
	if state.Attempt >= policy.MaxAttempts ||
		state.ToolCalls >= policy.MaxToolCalls ||
		time.Since(state.StartedAt) >= policy.MaxDuration {
		state.Status = "expired"
		state.LastReason = "budget_exhausted"
		return state
	}

	evidence, err := execute(ctx, state)
	state.Attempt++
	if err != nil {
		state.Status = "failed"
		state.LastReason = "execution_error"
		return state
	}

	passed, reason := verify(ctx, evidence)
	state.LastReason = reason
	if passed {
		state.Status = "succeeded"
		return state
	}
	state.Status = "ready"
	return state
}

这个示例刻意省略了生产细节:真实实现还需要持久事务、租约、取消、幂等、重试分类、日志脱敏和副作用对账。关键边界是:verify 消费证据,由控制器选择下一状态。

重试、恢复与幂等

只重试那些再次执行后可能变化的失败:

失败 默认处理
临时限流 在截止时间内退避重试
工具参数非法 带校验反馈修复一次
授权被拒绝 停止,不寻找其他凭据
验收测试连续两次同样失败 携带证据升级人工
读取前发生网络超时 有界退避重试
写入后发生超时 按幂等键回读后再决定
目标或来源版本变化 取消过期运行并重新规划

保存尝试历史,避免 Agent 用不同措辞重复同一个动作。只有新证据改变状态,才算真正取得进展。

并行与隔离

只有任务彼此独立、团队也有足够审查能力时,并行 Agent 才能提升吞吐。可以使用 Worktree、分支、临时数据库或租户级沙箱,并在执行前声明文件或资源所有权。

不要让模型通过一句“合并所有结果”处理并行产物。应在当前目标分支上 Rebase,重跑相关测试,检查跨任务不变量,并让冲突解决过程可审阅。并行能缩短执行时间,也可能显著增加集成与验证成本。

安全与人工控制

检索到的指令、Issue 文本、仓库文件、网页和工具结果都属于不可信数据。数据中的 Prompt 不能改变 Loop 的权限。

以下情况应强制人工审批:

  • 动作具有破坏性、对外可见、财务、法律或隐私影响;
  • 证据冲突,或结论依赖业务判断;
  • Agent 请求扩大权限或获取新凭据;
  • 变更涉及认证、授权、迁移或发布策略;
  • 恢复流程无法确定副作用是否已经发生。

审批必须绑定精确主体、对象、规范化参数、版本和过期时间。“批准这个 Agent”范围过大。

可观测性与评测

记录足以重建决策的信息,同时默认不保存密钥和完整 Prompt:

  • 目标、策略、模型、工具和验证器版本;
  • 状态迁移与原因码;
  • 脱敏输入和证据引用;
  • Token、费用、延迟、重试和工具调用预算;
  • 策略拒绝、人工介入与回滚;
  • 最终副作用标识和对账结果。

用有代表性的历史与对抗用例评测。关键指标包括任务成功率、错误成功率、不必要升级率、重复动作率、回滚率、每个有效结果的成本、恢复时间和人工审阅时间。完成数量很高,也可能掩盖危险的错误成功。

渐进上线策略

  1. 观察:只发现并报告,不写入。
  2. 草稿:生成补丁或动作建议,交给人工审阅。
  3. 执行低风险变更:范围窄、可回滚、必须验证。
  4. 在沙箱无人值守运行:限制时间,使用合成或非生产数据。
  5. 按证据扩权:只有新增能力的失败和恢复路径通过评测后,才开放该能力。

持续保留 Kill Switch,取消时回收租约,并在提高自治程度前真实测试回滚。

常见问题

Loop Engineering 会取代 Prompt Engineering 吗?

不会。Prompt 与上下文工程影响单次运行;Loop Engineering 治理重复运行、持久状态、证据、预算和终止决策。

Loop 必须使用多个 Agent 吗?

不需要。调度器、一个 Agent、确定性验证器和状态存储就能形成闭环。只有评测证明额外复杂度能改善结果时,才增加 Worker 或审阅模型。

可以把测试通过作为唯一停止条件吗?

测试只能证明自身覆盖的行为。目标涉及策略、来源版本、安全、用户结果或副作用时,还需要对应证据与对账。

最安全的首个场景是什么?

只读巡检与结构化问题报告通常比自动修改更安全。它能在开放写权限之前暴露检索、分类、状态和评测问题。

参考资料

延伸阅读

总结

可靠 Loop 的目标不是让 Agent 一直忙碌,而是把版本化目标转成有界动作,检查匹配声明的证据,记住发生过什么,并以明确原因终止。先从确定性工作流和只读检测开始;只有当实测灵活性足以抵消运维风险时,才提高 Agent 自治程度。