什么是 联邦学习(Federated Learning)?

联邦学习(Federated Learning)是一种分布式机器学习方法:客户端在本地数据上训练,并发送模型更新或其他任务特定消息,经聚合形成共享模型,而不把原始数据集中到同一处。

快速了解

规范文档官方规范

工作原理

把训练组织成版本化通信轮次

每轮由 Server 选择合资格 Client 并下发同一 Model Version。Client 按声明的 Optimizer、Epoch 上限、Clipping Rule 和 Data Snapshot 本地训练,再返回 Update 与聚合所需的最少 Metadata。Server 拒绝过期或格式错误的 Update,聚合已接受贡献,评测并记录新模型血缘后进入下一轮。重试不能把同一 Client 更新静默计算两次。

把数据异构作为一等约束

FedAvg 原始论文把 Non-IID、样本量不平衡、大规模分布和通信受限视为联邦场景的定义性条件。按样本数加权优化的是全局样本级目标,但可能忽略稀有 Client,Local Step 过多也会放大 Client Drift。应同时评测全局与逐 Client 效用、参与偏差、收敛、通信、能耗和失败率,而不是只报告一个汇总准确率。

显式添加隐私与完整性控制

传输加密不能向 Coordinator 隐藏解密后的单个 Update。NIST PPFL 隐私红队问题展示了从 Client Model 或 Gradient 执行成员推断与重建的风险。Secure Aggregation 可把个体更新隐藏在 Cohort Sum 中,Differential Privacy 可限制一个已声明贡献,Robust Aggregation 与异常复核则处理恶意更新;任何一项都不能单独证明同意、合法使用、公平或删除。

主要特点

  • 原始训练记录留在客户端,只交换任务特定更新
  • 按轮次协调客户端选择、本地训练、聚合与模型再分发
  • 包含信任假设不同的 Cross-Device 与 Cross-Silo 部署
  • 必须处理 Non-IID、样本量不均、Straggler 和间歇可用性
  • 转移而不是消除隐私、完整性与治理风险
  • 需要逐客户端和系统级评测,不能只看全局指标

常见用途

  1. 基于设备端交互训练输入法或个性化模型
  2. 多家医院在不汇集原始病历时协作建模
  3. 不同机构保持数据托管边界并联合训练反欺诈模型
  4. 从通信受限的工业设备或边缘设备群学习
  5. 跨受治理数据孤岛评测隐私保护研究方案

示例

loading...
Loading code...

常见问题

联邦学习怎样工作?

Coordinator 把模型下发给选中的 Client,Client 使用本地数据训练并返回更新,Coordinator 校验并聚合已接受更新,形成下一版全局模型,再重复该过程。真实系统还需要 Client 资格、版本检查、失败恢复、评测、隐私控制与可审计血缘。

数据留在本地是否代表联邦学习天然保护隐私?

不是。本地保留降低了原始数据集中化,但 Model Update、参与元数据、Checkpoint 与最终模型都可能泄露信息。保证强度取决于威胁模型,以及安全聚合、差分隐私、访问控制、保留策略和隐私攻击测试等控制。

Cross-Device 与 Cross-Silo 联邦学习有什么区别?

Cross-Device 通常协调大量间歇在线的消费者设备,每端数据少且通信受限;Cross-Silo 一般连接少量机构,基础设施稳定、数据集较大、身份和治理经过协商。两者在故障、信任、抽样与聚合假设上都不同。

为什么 Non-IID 数据会影响联邦学习?

各 Client 可能覆盖不同人群、标签、时期或使用习惯,因此本地目标会指向不同方向,多次 Local Optimization 还可能放大 Client Drift。团队应评测收敛及逐 Client、逐切片效用,不能假设汇总 Validation Score 代表每个参与方。

FedAvg 足以构成生产级联邦学习系统吗?

不足。FedAvg 是聚合与优化基线。生产系统还需要参与方认证、Update 校验、安全传输、隐私保护、投毒防御、模型与数据版本、Straggler 处理、回滚、监控,以及针对目的、同意、保留和删除的治理。

相关术语

相关文章