什么是 人在回路(Human-in-the-Loop)?

人在回路(Human-in-the-Loop)是在 AI 系统的明确决策点插入人工复核、审批、纠正或升级的控制模式。

工作原理

人在回路不是模糊地承诺某处有人在看。在生产 AI 系统中,它应是明确定义的控制:什么条件会暂停自动化、谁来审查决策、展示哪些信息、有哪些可选动作,以及系统如何记录结果。这个模式对有外部副作用、高不确定性、法律风险、财务影响或用户信任影响的动作尤其重要。

主要特点

  • 显式干预点:定义自动化何时必须暂停或请求复核
  • 决策支持:向人展示上下文、证据、风险和拟执行动作
  • 结果记录:记录批准、拒绝、纠正或升级,便于审计
  • 基于风险设计:把人工注意力集中在高影响或不确定案例上
  • 工作流集成:复核后必须支持恢复、重试、回滚或取消

常见用途

  1. 在 AI 起草的客户邮件发送前进行审批
  2. 复核退款、账户变更或部署动作建议
  3. 在提交前纠正从发票或合同中抽取的字段
  4. 把低置信度 Agent 决策升级给领域专家
  5. 为受监管的 AI 辅助流程创建审计轨迹

示例

loading...
Loading code...

常见问题

什么时候需要人工复核?

当动作不可逆、外部可见、财务影响显著、法律敏感、置信度低,或可能影响用户信任时,应要求人工复核。

复核人应该看到哪些信息?

复核人应看到拟执行动作、证据、安全的模型推理摘要、策略检查、替代方案、置信度信号和批准后的预期后果。

人在回路以后可以自动化吗?

有时可以。如果复核数据表明某类决策持续安全且确定,团队可以用更严格规则自动化。但高风险案例仍应保留复核能力。

糟糕的人在回路设计是什么样?

糟糕设计会让人缺少上下文地机械盖章,不记录理由,或对低风险任务过度打断,造成复核疲劳。

相关工具

相关术语

相关文章