什么是 人在回路(Human-in-the-Loop)?
人在回路(Human-in-the-Loop)是一种控制模式:AI 系统在明确决策点暂停,由经过认证和授权的人在继续执行前复核、批准、拒绝、编辑、升级或终止拟议工作。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
分开中断、复核、审批与授权
Interrupt 暂停并持久化 Run;Review 向人展示一个 Proposal;Approval 记录决定;Authorization 判断 Actor、Approver、Tenant、Resource、Operation 与当前 Policy 是否允许执行。Human-on-the-Loop 监控、事后 Audit 与 Data Labeling 仍有价值,但不等于执行前门禁。模型不能自行豁免,下游服务在审批后仍要强制 Ownership 与 Least Privilege。
绑定并重验持久化待审决定
保存 Run、Checkpoint、Call、Actor、已认证 Approver、Tenant、Resource、准确 Tool / Schema Revision、规范化 Argument Digest、Policy Revision、Decision、Issue Time、Expiry 与 Single-use State。
当前 [OpenAI Agents SDK 指南](https://openai.github.io/openai-agents-python/zh/human_in_the_loop/)支持序列化暂停状态,同时明确反序列化不会认证 Snapshot 或 Reviewer;Microsoft Agent Framework 也会随 Checkpoint 保存 Pending Request。只恢复同一个兼容 Run,并在 Dispatch 前重新校验 Authority、Proposal Identity、Resource State、Policy、Schema 与 Expiry。
处理编辑、重放、故障与复核负担
Approve、Reject、Edit、Clarify、Escalate、Cancel 与 Emergency Halt 是不同结果。编辑会产生新 Proposal 与 Digest,必须重新通过 Policy 和必要审批。将审批消费与稳定 Operation 或 Outbox Record 的创建原子化;超时导致结果不明时先 Reconcile,不能重新询问后盲目重试。
测试绕过、Cross-Tenant Review、过期或变更参数、Concurrent Decision、Cancellation、Crash 与 Reviewer Outage,并度量覆盖率、False Allow / Block、Queue Age、Decision Latency、Abandonment、Escalation、Duplicate Effect、Incident 与 Fatigue。
主要特点
- 在明确后果发生前强制暂停,不依赖模型主动配合
- 复核人身份经过认证,并分离 Interrupt、Approval 与 Authorization
- 决定绑定 Actor、Resource、Argument、Schema、Policy、Expiry 与单次消费状态
- Pending State 可跨进程丢失持久化,并恢复同一个兼容 Run
- 支持批准、拒绝、编辑、澄清、升级、取消与紧急停止路径
- 度量覆盖率、决策质量、延迟、疲劳、绕过与事故
常见用途
- 审批退款、付款、账户变更、部署、合并、删除或外部消息
- 合同或发票抽取字段进入权威系统前由人工纠正
- 把新颖、模糊、高影响或策略敏感案例升级给领域专家
- 暂停长期 Agent Run,并在异步复核后恢复
- 对高权限操作分离请求者权限与独立复核人
- 沉淀已复核评测样本,但不默认把批准当成训练标签
示例
Loading code...常见问题
Human-in-the-Loop 等于让模型询问确认吗?
不等于。Prompt 可能被忽略或操纵。真正的门禁由可信 Runtime 或下游代码强制执行,在收到有效 Decision 前阻止敏感操作。
人工审批可以替代授权吗?
不能。Approval 记录复核决定;执行时仍须校验 Actor、Approver Authority、Tenant、Resource Ownership、当前 Policy、准确参数与最小权限凭证。
复核人编辑 Tool Call 后应如何处理?
编辑会生成新 Proposal 与 Argument Digest。重新校验 Schema 与业务规则,重新执行 Policy;若变化后的操作仍需审批,则必须获得新 Approval,不能复用旧决定。
延迟审批应如何恢复?
持久化 Run 与 Pending Approval Envelope,认证复核人,再恢复同一个兼容 Run。执行前重新检查 Expiry、Single-use State、Policy / Schema Version、Resource State 与 Approver Authority。
如何评测 Human-in-the-Loop 系统?
测试绕过、过期或重放审批、参数变化、越权复核人、超时、并发决定、崩溃与取消;度量覆盖率、误放行、误阻断、延迟、编辑、升级、放弃、疲劳与事故。