中文

去中心化个性化在线联邦学习

机器学习 2023-11-09 v1 人工智能

摘要

原始联邦学习不支持在在线环境中学习、在每个客户端学习个性化模型,以及在去中心化设置中学习。现有方法在每个方面分别扩展了联邦学习。然而,企业边缘服务器上的一些重要应用(例如全球规模的在线物品推荐)同时涉及这三个方面。因此,我们提出一种新的学习设置去中心化个性化在线联邦学习\textit{去中心化个性化在线联邦学习}(Decentralized Personalized Online Federated Learning),同时考虑这三个方面。在这一新学习设置中,首要技术挑战是如何聚合来自邻居客户端的共享模型参数,以在每个客户端上获得性能良好的个性化局部模型。我们提出通过优化局部模型相对于聚合权重的性能来直接学习一种聚合。这不仅提升了每个局部模型的个性化,也通过智能地融合来自邻居的适量信息,帮助局部模型适应潜在的数据偏移。第二挑战是如何为每个客户端选择邻居。我们提出一种基于所学聚合权重的对等选择方法,使每个客户端能选择最有帮助的邻居并同时降低通信成本。我们在三个真实世界物品推荐数据集和一个空气质量预测数据集上验证了所提方法的有效性与鲁棒性。

关键词

引用

@article{arxiv.2311.04817,
  title  = {Decentralized Personalized Online Federated Learning},
  author = {Renzhi Wu and Saayan Mitra and Xiang Chen and Anup Rao},
  journal= {arXiv preprint arXiv:2311.04817},
  year   = {2023}
}