什么是 算法公平(Algorithmic Fairness)?
算法公平(Algorithmic Fairness)是一种社会技术实践:在明确用途、人群与问责流程下,定义、测量并治理自动化决策系统如何向受影响者分配收益、错误与负担。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
从伤害与决策责任出发
先识别谁会承受收益、负担、错误、延迟或自主性损失,再明确谁有权改变数据、模型、策略、界面和申诉路径。NIST SP 1270把有害偏差视为贯穿生命周期的风险,来源包括系统性、统计计算与人类因素。关键问题不只是分数是否不同,而是哪种机制制造了实质伤害,以及哪位负责人能够缓解。
把公平问题转成可审计估计目标
明确决策时点、适格人群、有利结果、参考标签、群体定义、比较量、不确定性区间和最小样本支持,再把公平指标与任务性能、数据质量共同报告。Fairlearn 公平评测流程明确区分可观测差异与该差异是否有害、是否不可接受的情境判断。
在全生命周期管理指标权衡
不同标准可能冲突,尤其当群体结果基础发生率不同且预测并不完美时。Kleinberg、Mullainathan 与 Raghavan在非退化条件下证明了校准类条件与错误平衡条件之间的不兼容。应把指标选择记录为策略决策,上线前评估阈值与干预,上线后持续监控漂移、人工覆盖、投诉、申诉与真实结果。
主要特点
- 围绕受影响者、决策、伤害和责任主体定义公平问题
- 区分数据、标签、模型、阈值、界面与制度性差异来源
- 把指标视为依赖情境的证据,而非正义的统一定义
- 要求明确人群、结果、群体定义、时间窗口和不确定性
- 承认多种统计公平标准可能在数学上不兼容
- 从上线前测试延伸到监控、申诉和纠正措施
常见用途
- 围绕合格候选人被漏筛风险设计招聘模型审计
- 比较信贷阈值对受保护群体和交叉群体的影响
- 在标签受到医疗可及性影响时复核分诊错误
- 上线后联合分析人工覆盖、投诉、申诉和真实结果
- 记录某项公平标准为何适用于具体产品决策
示例
Loading code...常见问题
算法公平在实践中意味着什么?
它要求团队明确哪些人和决策受到影响,识别潜在伤害,选择与伤害匹配的证据,测试完整工作流,并为缓解与申诉指定负责人。群体比例相等可以是一项信号,但数据质量、无障碍、人类行为和下游 Effect 同样属于公平审计。
是否存在最好的通用公平性指标?
不存在。人口统计均等不以标签为条件比较选择率,均衡赔率按标签比较错误率,预测性平价比较正预测中的正确比例,反事实公平则提出个体层面的因果问题。应根据决策、标签可信度、错误成本和策略目标选择证据。
删除受保护属性就能让模型公平吗?
不一定。其他特征可能代理该属性,历史标签可能包含不平等待遇,即使模型不读取该字段,策略仍可能让不同人群承担不同成本。在具备合法依据和治理措施时,审计反而可能需要使用受保护属性,否则差异会保持不可见。
为什么多种公平标准可能冲突?
当不同群体的观测结果发生率不同且分类器不完美时,平衡错误率可能导致正预测值不同;平衡正预测值又可能保留不相等的错误率。这是统计条件本身的冲突,不是更换一个优化器就一定能够消除的问题。
通过公平性审计能否证明法律合规?
不能。技术审计只是在明确数据与协议下提供证据。法律义务还取决于司法辖区、组织角色、真实用途、受影响权利、程序、文档和当前法规。团队仍需有责任的法律与领域复核,并在上线后提供监控和可申诉机制。