什么是 鲁棒聚合(Robust Aggregation)?

鲁棒聚合(Robust Aggregation)是一组在明确 Byzantine Threat Model 与统计假设下组合 Gradient 或 Model Update,并限制故障、损坏或恶意参与方影响的规则。

快速了解

全称拜占庭鲁棒聚合(Byzantine-Robust Aggregation)
规范文档官方规范

工作原理

从声明的故障模型选择规则

Krum 论文形式化了 Byzantine-resilient Distributed SGD,并说明 Plain Mean 这类线性组合为何无法在其模型中容忍一个任意向量。Coordinate Median 与 Trimmed Mean 作坐标级假设,Krum 使用邻近更新距离,Clipping 与 Zeroing 限制幅度,Trust-based Rule 依赖参考数据;它们的保证不能互换。

用真实异构性检验假设

声明最大恶意数量、身份和 Sybil 控制、Collusion、攻击知识、Server Trust、同步方式、维度、Client Sampling 与诚实更新分布。测试 Label Flip、Sign Flip、Scaled Update、Model Replacement、Targeted Backdoor、Adaptive Attack、诚实硬件故障和真实 Non-IID Client;报告收敛、正常与目标效用、Client 或 Slice 质量、诚实 Client 拒绝率、通信和计算。

有意识地组合隐私与完整性

如果安全聚合隐藏了单个明文更新,Coordinator 就不能直接执行任意距离或坐标过滤。兼容方案可能使用 Verifiable Bound、Secure Computation、TEE、Distributed Check 或 Aggregate-level Clipping,每种都会增加新的泄漏和信任假设。

例如 TensorFlow Federated 的 robust aggregator提供 Adaptive Zeroing 与 Norm Clipping 来处理污染和异常值;仅凭函数名称不能建立 Byzantine 安全保证。

主要特点

  • 在明确故障参与方上限或模型下组合更新
  • 包含坐标、距离、几何、裁剪、聚类与信任型规则
  • 以统计效率和少数 Client 效用换取影响力约束
  • 可能把诚实 Non-IID Update 误判为恶意异常值
  • 本身不认证 Client、不保护隐私,也不删除已学后门
  • 必须针对 Adaptive Attack 和定理假设评测

常见用途

  1. 保护联邦训练免受恶意或损坏 Client Update 影响
  2. 在 Distributed SGD 中容忍任意 Worker
  3. 限制极端 Telemetry 或 Model Delta 的作用
  4. 比较 Non-IID 与 Sybil 场景下的聚合规则
  5. 设计与机密聚合兼容的完整性控制

示例

loading...
Loading code...

常见问题

鲁棒聚合与 FedAvg 有什么区别?

FedAvg 计算按样本数加权的 Mean,并假设被接纳的 Client Update 都适合参与。鲁棒规则通过限制、过滤、选择或重新加权更新,降低故障或恶意参与方影响。即使没有攻击,它也会改变估计量,可能损失效率或少数 Client 效用,因此必须匹配威胁和数据分布。

鲁棒聚合与安全聚合相同吗?

不同。鲁棒聚合是完整性机制,需要足够信息来限制有害值;安全聚合是机密性协议,隐藏单个值,只揭示授权 Aggregate。隐藏更新可能阻止鲁棒规则所需的比较,因此兼容协议必须明确暴露什么、信任谁。

鲁棒聚合能阻止所有投毒或后门攻击吗?

不能。保证通常假设攻击者数量有界,且诚实更新满足某种统计关系。Adaptive 或 Colluding Attacker 可提交外观正常的更新,Sybil 可突破参与方上限,Non-IID 诚实 Client 可能被排除;为广泛收敛故障设计的规则也可能漏掉定向后门。

怎样评测鲁棒聚合方法?

使用真实 Non-IID Client 和多种攻击,包括了解规则的 Adaptive Attack;改变恶意比例、采样、维度、本地步数和故障模式。报告收敛、正常与定向性能、Client 或 Slice 质量、诚实更新拒绝、Attack Success、通信、计算,以及定理依赖的全部假设。

什么时候适合 Coordinate-wise Trimmed Mean?

当每个坐标存在有意义的共同中心,且两端 Trim 数安全覆盖预期极端污染时,它可作为有效基线。诚实更新高度异构、攻击者留在坐标范围内、跨维相关性重要或恶意上限错误时都可能失败,因此不能把它当作通用默认值。

相关术语

相关文章