什么是 人在回路(Human-in-the-Loop)?

人在回路(Human-in-the-Loop)是一种控制模式:AI 系统在明确决策点暂停,由经过认证和授权的人在继续执行前复核、批准、拒绝、编辑、升级或终止拟议工作。

快速了解

规范文档官方规范

工作原理

分开中断、复核、审批与授权

Interrupt 暂停并持久化 Run;Review 向人展示一个 Proposal;Approval 记录决定;Authorization 判断 Actor、Approver、Tenant、Resource、Operation 与当前 Policy 是否允许执行。Human-on-the-Loop 监控、事后 Audit 与 Data Labeling 仍有价值,但不等于执行前门禁。模型不能自行豁免,下游服务在审批后仍要强制 Ownership 与 Least Privilege。

绑定并重验持久化待审决定

保存 Run、Checkpoint、Call、Actor、已认证 Approver、Tenant、Resource、准确 Tool / Schema Revision、规范化 Argument Digest、Policy Revision、Decision、Issue Time、Expiry 与 Single-use State。

当前 [OpenAI Agents SDK 指南](https://openai.github.io/openai-agents-python/zh/human_in_the_loop/)支持序列化暂停状态,同时明确反序列化不会认证 Snapshot 或 Reviewer;Microsoft Agent Framework 也会随 Checkpoint 保存 Pending Request。只恢复同一个兼容 Run,并在 Dispatch 前重新校验 Authority、Proposal Identity、Resource State、Policy、Schema 与 Expiry。

处理编辑、重放、故障与复核负担

Approve、Reject、Edit、Clarify、Escalate、Cancel 与 Emergency Halt 是不同结果。编辑会产生新 Proposal 与 Digest,必须重新通过 Policy 和必要审批。将审批消费与稳定 Operation 或 Outbox Record 的创建原子化;超时导致结果不明时先 Reconcile,不能重新询问后盲目重试。

测试绕过、Cross-Tenant Review、过期或变更参数、Concurrent Decision、Cancellation、Crash 与 Reviewer Outage,并度量覆盖率、False Allow / Block、Queue Age、Decision Latency、Abandonment、Escalation、Duplicate Effect、Incident 与 Fatigue。

主要特点

  • 在明确后果发生前强制暂停,不依赖模型主动配合
  • 复核人身份经过认证,并分离 Interrupt、Approval 与 Authorization
  • 决定绑定 Actor、Resource、Argument、Schema、Policy、Expiry 与单次消费状态
  • Pending State 可跨进程丢失持久化,并恢复同一个兼容 Run
  • 支持批准、拒绝、编辑、澄清、升级、取消与紧急停止路径
  • 度量覆盖率、决策质量、延迟、疲劳、绕过与事故

常见用途

  1. 审批退款、付款、账户变更、部署、合并、删除或外部消息
  2. 合同或发票抽取字段进入权威系统前由人工纠正
  3. 把新颖、模糊、高影响或策略敏感案例升级给领域专家
  4. 暂停长期 Agent Run,并在异步复核后恢复
  5. 对高权限操作分离请求者权限与独立复核人
  6. 沉淀已复核评测样本,但不默认把批准当成训练标签

示例

loading...
Loading code...

常见问题

Human-in-the-Loop 等于让模型询问确认吗?

不等于。Prompt 可能被忽略或操纵。真正的门禁由可信 Runtime 或下游代码强制执行,在收到有效 Decision 前阻止敏感操作。

人工审批可以替代授权吗?

不能。Approval 记录复核决定;执行时仍须校验 Actor、Approver Authority、Tenant、Resource Ownership、当前 Policy、准确参数与最小权限凭证。

复核人编辑 Tool Call 后应如何处理?

编辑会生成新 Proposal 与 Argument Digest。重新校验 Schema 与业务规则,重新执行 Policy;若变化后的操作仍需审批,则必须获得新 Approval,不能复用旧决定。

延迟审批应如何恢复?

持久化 Run 与 Pending Approval Envelope,认证复核人,再恢复同一个兼容 Run。执行前重新检查 Expiry、Single-use State、Policy / Schema Version、Resource State 与 Approver Authority。

如何评测 Human-in-the-Loop 系统?

测试绕过、过期或重放审批、参数变化、越权复核人、超时、并发决定、崩溃与取消;度量覆盖率、误放行、误阻断、延迟、编辑、升级、放弃、疲劳与事故。

相关术语

相关文章

DeepSeek Harness 插件开发:Cordis 服务、事件与生命周期

从 apply 函数、inject 依赖声明和可逆副作用入手,讲解 DeepSeek Harness 的 Cordis 插件开发。本文覆盖服务接口、事件派发、工具策略 Hook、权限拒绝与审批、配置 Overlay、资源清理、会话事件、版本锁定和升级测试,帮助开发者以最小扩展接缝构建可卸载、可审查、可回滚的 Agent 能力,而不把模型提案或 Schema 校验误作授权。

2026-08-25

Agent Harness 实战:状态、权限、工具与恢复

系统讲解 Agent Harness 实战:从类型化运行状态、权限策略和 MCP 工具适配,到持久化审批、幂等副作用、未知结果恢复、脱敏观测与故障测试,帮助团队把模型输出限制为待审提案,构建可恢复、可审计且不会因盲目重试重复执行外部写入的生产级智能体运行时,并建立贯穿开发测试、灰度发布和事故调查的统一证据链,避免把框架能力误当成安全保证。

2026-04-01

自驱动代码库治理:Agent PR 的准入、验收与回滚

面向生产团队的自驱动代码库治理指南:从任务风险、可观测性、可逆性和验收标准判断哪些改动适合交给 AI Coding Agent,按自治等级控制编辑、验证、提 PR、合并与发布权限,并建立可执行验收契约、证据包、凭证与网络隔离、评审容量、Accepted Goodput 指标、灰度和回滚机制。文章同时厘清厂商 Agent PR 占比、开源样本合并率与代码质量研究的适用边界,避免把单一数字误当行业基准。

2026-04-24