什么是 人在回路(Human-in-the-Loop)?
人在回路(Human-in-the-Loop)是在 AI 系统的明确决策点插入人工复核、审批、纠正或升级的控制模式。
工作原理
人在回路不是模糊地承诺某处有人在看。在生产 AI 系统中,它应是明确定义的控制:什么条件会暂停自动化、谁来审查决策、展示哪些信息、有哪些可选动作,以及系统如何记录结果。这个模式对有外部副作用、高不确定性、法律风险、财务影响或用户信任影响的动作尤其重要。
主要特点
- 显式干预点:定义自动化何时必须暂停或请求复核
- 决策支持:向人展示上下文、证据、风险和拟执行动作
- 结果记录:记录批准、拒绝、纠正或升级,便于审计
- 基于风险设计:把人工注意力集中在高影响或不确定案例上
- 工作流集成:复核后必须支持恢复、重试、回滚或取消
常见用途
- 在 AI 起草的客户邮件发送前进行审批
- 复核退款、账户变更或部署动作建议
- 在提交前纠正从发票或合同中抽取的字段
- 把低置信度 Agent 决策升级给领域专家
- 为受监管的 AI 辅助流程创建审计轨迹
示例
loading...
Loading code...常见问题
什么时候需要人工复核?
当动作不可逆、外部可见、财务影响显著、法律敏感、置信度低,或可能影响用户信任时,应要求人工复核。
复核人应该看到哪些信息?
复核人应看到拟执行动作、证据、安全的模型推理摘要、策略检查、替代方案、置信度信号和批准后的预期后果。
人在回路以后可以自动化吗?
有时可以。如果复核数据表明某类决策持续安全且确定,团队可以用更严格规则自动化。但高风险案例仍应保留复核能力。
糟糕的人在回路设计是什么样?
糟糕设计会让人缺少上下文地机械盖章,不记录理由,或对低风险任务过度打断,造成复核疲劳。