周期性权重整合：面向串联式联邦学习解决灾难性遗忘
机器学习
2024-05-20 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）因解决数据稀缺和隐私问题而受到关注。虽然并行联邦算法如FedAvg在性能上表现突出，但在网络速度差异和多机构合作（如医疗领域）涉及中心化控制的场景下面临挑战。串联式联邦学习通过以循环方式在设备之间串行传递模型更新，提供了一种替代方案。然而，串联式联邦学习因（1）性能表现出不可取的波动，（2）在处理非独立同分布（non-IID）数据时收敛至较低平坡而被认为优于并行联邦学习。观察到的现象可归因于由于前一站知识丢失导致的灾难性遗忘。本文提出周期性权重整合（CWC），一种为串联式联邦学习量身定制的简单而强大的做法。CWC采用整合矩阵来调节局部优化。该矩阵在整个训练轨迹中跟踪每个参数对整体联邦的重要性，防止重要权重发生突变。在 revisitation 时，为保持可适应性，旧记忆会发生衰减以整合新信息。我们的全面评估表明，在 various non-IID 设置下，CWC 缓解了原始串联式联邦学习方法的波动行为，并在一致性和显著性方面显著提升了收敛性能。 improved performance 要么与并行 vanilla 相当，要么更好。
引用
@article{arxiv.2405.10647,
title = {Cyclical Weight Consolidation: Towards Solving Catastrophic Forgetting in Serial Federated Learning},
author = {Haoyue Song and Jiacheng Wang and Liansheng Wang},
journal= {arXiv preprint arXiv:2405.10647},
year = {2024}
}
备注
12 pages, 8 figures