1 min read 255 words Updated Apr 26, 2026 Created May 03, 2026

联邦学习 (Federated Learning) 索引

聚合算法

  • FedAvg

    • 核心思想：分别训练，然后聚合
    • 最基础的联邦学习聚合算法
    • 在 Non-IID 数据下收敛性较差

  • FedProx

    • 引入正则化参数解决 Non-IID 问题
    • 基于 FedAvg 的改进
    • 提出 $\gamma$-inexact solution 解决设备算力不均衡
    • 核心假设：$B$-local dissimilarity、L-smooth

  • D-PSGD

    • 对比 C-PSGD（中心化）vs D-PSGD（去中心化）
    • 静态环链路拓扑
    • 通信复杂度与图结构相关
    • 当边缘网络不稳定时性能更优
    • 收敛率：$O(\frac 1 K + \frac 1 {\sqrt{nK}})$

  • FedAtt

    • 注意力机制聚合
    • 评估模型相似性进行加权

  • FedNova、FedPD、FedBN

    • 待学习

模型异构协同学习

  • FedMD

    • 针对 CNN 分类任务（MNIST/CIFAR）
    • 利用公共数据集进行 logits 迁移
    • 流程：Digest → Revisit 循环

  • FedMKT

    • Co-PLMs 的直接前身
    • 解决 Tokenizer 不一致问题
    • 采用最小编辑距离进行 Token 对齐
    • 选择性双向知识传递（DualMinCE）

  • Co-PLMs

    • 异构协同 + 代理桥梁架构
    • 核心组件：蒸馏代理模型 (DPM)
    • SAML 结构：双向 Token 对齐 + Logits 池化
    • 仅上传 LoRA 参数 (约 0.02% 模型量)

  • FedPETuning

  • FedCoLLM

    • 多端协同 + 模型合并
    • 云端 LLM 与边缘 SLM 双向知识同步
    • 流程：Client 微调 → FedAvg 聚合 → 双向蒸馏 → 下发

  • FedML

    • 互学习机制，每个客户端维护两个模型
    • 不需要公共数据集

拓扑构建与通信优化

拓扑构建方法

  • 拓扑构建总结
    • D-PSGD：静态环形拓扑
    • TornadoAggregate：静态混合拓扑（星型+环形）
    • DAC：基于相似度的采样策略自适应选择邻居
    • DFLDNN：利用数据相似性随机选择邻居

去中心化拓扑学习

  • Hat-DFed
    • 三层系统：Coordinator → Edge Server → Edge Devices
    • 能耗建模：数据传输 + 计算 + 模型传输
    • UTC 算法：无偏估计 + 逆概率加权
    • DCMU 算法：基于重要性采样的模型聚合
    • 将拓扑选择建模为 MAB（多臂老虎机）问题

模型聚合优化

  • 模型聚合方法
    • SGP：随机梯度推送方法
    • Valentina 等：基于 Frank-Wolfe 梯度下降的条件模型更新
    • Jeon 等：应用 ADMM 算法处理 non-IID 数据

其他

  • APFL、MOON

    • 个性化联邦学习，待学习

  • FedCache、FedCL

    • 待学习

  • ML-ECS

    • 多模态边缘-云端协同框架
    • 四个核心组件：CCL、AMT、MMA、SE-CCL