什么是 鲁棒聚合(Robust Aggregation)?
鲁棒聚合(Robust Aggregation)是一组在明确 Byzantine Threat Model 与统计假设下组合 Gradient 或 Model Update,并限制故障、损坏或恶意参与方影响的规则。
快速了解
| 全称 | 拜占庭鲁棒聚合(Byzantine-Robust Aggregation) |
|---|---|
| 规范文档 | 官方规范 |
工作原理
从声明的故障模型选择规则
Krum 论文形式化了 Byzantine-resilient Distributed SGD,并说明 Plain Mean 这类线性组合为何无法在其模型中容忍一个任意向量。Coordinate Median 与 Trimmed Mean 作坐标级假设,Krum 使用邻近更新距离,Clipping 与 Zeroing 限制幅度,Trust-based Rule 依赖参考数据;它们的保证不能互换。
用真实异构性检验假设
声明最大恶意数量、身份和 Sybil 控制、Collusion、攻击知识、Server Trust、同步方式、维度、Client Sampling 与诚实更新分布。测试 Label Flip、Sign Flip、Scaled Update、Model Replacement、Targeted Backdoor、Adaptive Attack、诚实硬件故障和真实 Non-IID Client;报告收敛、正常与目标效用、Client 或 Slice 质量、诚实 Client 拒绝率、通信和计算。
有意识地组合隐私与完整性
如果安全聚合隐藏了单个明文更新,Coordinator 就不能直接执行任意距离或坐标过滤。兼容方案可能使用 Verifiable Bound、Secure Computation、TEE、Distributed Check 或 Aggregate-level Clipping,每种都会增加新的泄漏和信任假设。
例如 TensorFlow Federated 的 robust aggregator提供 Adaptive Zeroing 与 Norm Clipping 来处理污染和异常值;仅凭函数名称不能建立 Byzantine 安全保证。
主要特点
- 在明确故障参与方上限或模型下组合更新
- 包含坐标、距离、几何、裁剪、聚类与信任型规则
- 以统计效率和少数 Client 效用换取影响力约束
- 可能把诚实 Non-IID Update 误判为恶意异常值
- 本身不认证 Client、不保护隐私,也不删除已学后门
- 必须针对 Adaptive Attack 和定理假设评测
常见用途
- 保护联邦训练免受恶意或损坏 Client Update 影响
- 在 Distributed SGD 中容忍任意 Worker
- 限制极端 Telemetry 或 Model Delta 的作用
- 比较 Non-IID 与 Sybil 场景下的聚合规则
- 设计与机密聚合兼容的完整性控制
示例
Loading code...常见问题
鲁棒聚合与 FedAvg 有什么区别?
FedAvg 计算按样本数加权的 Mean,并假设被接纳的 Client Update 都适合参与。鲁棒规则通过限制、过滤、选择或重新加权更新,降低故障或恶意参与方影响。即使没有攻击,它也会改变估计量,可能损失效率或少数 Client 效用,因此必须匹配威胁和数据分布。
鲁棒聚合与安全聚合相同吗?
不同。鲁棒聚合是完整性机制,需要足够信息来限制有害值;安全聚合是机密性协议,隐藏单个值,只揭示授权 Aggregate。隐藏更新可能阻止鲁棒规则所需的比较,因此兼容协议必须明确暴露什么、信任谁。
鲁棒聚合能阻止所有投毒或后门攻击吗?
不能。保证通常假设攻击者数量有界,且诚实更新满足某种统计关系。Adaptive 或 Colluding Attacker 可提交外观正常的更新,Sybil 可突破参与方上限,Non-IID 诚实 Client 可能被排除;为广泛收敛故障设计的规则也可能漏掉定向后门。
怎样评测鲁棒聚合方法?
使用真实 Non-IID Client 和多种攻击,包括了解规则的 Adaptive Attack;改变恶意比例、采样、维度、本地步数和故障模式。报告收敛、正常与定向性能、Client 或 Slice 质量、诚实更新拒绝、Attack Success、通信、计算,以及定理依赖的全部假设。
什么时候适合 Coordinate-wise Trimmed Mean?
当每个坐标存在有意义的共同中心,且两端 Trim 数安全覆盖预期极端污染时,它可作为有效基线。诚实更新高度异构、攻击者留在坐标范围内、跨维相关性重要或恶意上限错误时都可能失败,因此不能把它当作通用默认值。