利用自适应优化解决联邦持续学习中的客户端漂移问题
机器学习
2022-03-28 v1 人工智能
摘要
联邦学习已被广泛研究，是边缘设备中隐私保护分布式学习的流行方法。相应地，持续学习是一个新兴领域，旨在顺序学习多个任务。然而，在持续学习系统中进行联邦聚合时产生的额外挑战很少受到关注。我们识别出客户端漂移（client drift）为此类系统中直接应用朴素联邦平均时所出现的关键弱点之一，尤其是因为每个客户端可独立拥有不同的任务顺序。我们概述了一个使用NetTailor作为候选持续学习方法来执行联邦持续学习（FCL）的框架，并展示了客户端漂移问题的严重程度。我们表明自适应联邦优化可减轻客户端漂移的不利影响，并在CIFAR100、MiniImagenet和Decathlon基准上展示其有效性。此外，我们提供了实证分析，强调不同超参数（如客户端与服务器学习率、本地训练迭代次数和通信轮数）之间的相互作用。最后，我们在联邦学习系统的有用特性（如可扩展性、对客户端数据分布偏斜的鲁棒性以及掉队者）上评估了我们的框架。
引用
@article{arxiv.2203.13321,
title = {Addressing Client Drift in Federated Continual Learning with Adaptive Optimization},
author = {Yeshwanth Venkatesha and Youngeun Kim and Hyoungseob Park and Yuhang Li and Priyadarshini Panda},
journal= {arXiv preprint arXiv:2203.13321},
year = {2022}
}