联邦持续学习的变分贝叶斯方法
机器学习
2024-05-24 v1 人工智能
分布式、并行与集群计算
摘要
联邦持续学习（FCL）因其在处理现实世界流数据方面的潜力而受到越来越多的关注，这些数据的特点是数据分布随时间演变，客户端类别随时间变化。存储限制和隐私问题的约束使得局部模型只能在每个学习周期内独占访问当前数据。因此，这种限制导致模型在先前数据上的训练性能下降，称为“灾难性遗忘”。然而，现有的FCL方法需要识别或知道数据分布的变化，这在现实世界中是困难的。为了解除这些限制，本文将注意力转向一个更广泛的连续框架。在此框架内，我们引入了联邦贝叶斯神经网络（FedBNN），这是一个通用且有效的框架，在所有客户端上使用变分贝叶斯神经网络。我们的方法持续地将来自局部和历史数据分布的知识整合到一个单一模型中，巧妙地学习新数据分布，同时保持对历史分布的性能。我们使用各种指标严格评估FedBNN相对于联邦学习和持续学习中流行方法的性能。跨不同数据集的实验分析表明，FedBNN在缓解遗忘方面达到了最先进的结果。
引用
@article{arxiv.2405.14291,
title = {Variational Bayes for Federated Continual Learning},
author = {Dezhong Yao and Sanmu Li and Yutong Dai and Zhiqiang Xu and Shengshan Hu and Peilin Zhao and Lichao Sun},
journal= {arXiv preprint arXiv:2405.14291},
year = {2024}
}