中文

基于移动代理模型缓存的去中心化联邦学习

机器学习 2025-02-05 v2 分布式、并行与集群计算

摘要

联邦学习(FL)通过协调中心服务器,对分布式代理上的数据和计算资源进行训练。去中心化联邦学习(DFL)利用代理之间的本地模型交换和聚合来减少中心服务器的通信和计算开销。然而,当代理是移动的时,代理之间的通信机会可能是零星的,这会严重阻碍 DFL 的收敛和准确性。本文提出一种称为 Cached Decentralized Federated Learning(Cached-DFL)的缓存去中心化联邦学习方法,以利用移动代理上的模型缓存实现延迟容错的模型扩散和聚合。每个代理不仅存储其自身的模型,还存储最近遇到的数据代理的模型。当两个代理相遇时,它们交换自身的模型以及缓存的模型。本地模型聚合利用存储在缓存中的所有模型。我们对 Cached-DFL 的收敛性进行了理论分析,显式考虑了缓存引入的模型滞后性。我们设计并比较了针对不同 DFL 和移动性场景的不同模型缓存算法。我们在车联网中进行详细案例研究,以系统性地探讨代理移动性、缓存滞后性与模型收敛性之间的相互作用。在我们的实验中,Cached-DFL 能够快速收敛,并显著优于没有缓存的 DFL。

关键词

引用

@article{arxiv.2408.14001,
  title  = {Decentralized Federated Learning with Model Caching on Mobile Agents},
  author = {Xiaoyu Wang and Guojun Xiong and Houwei Cao and Jian Li and Yong Liu},
  journal= {arXiv preprint arXiv:2408.14001},
  year   = {2025}
}

备注

Oral Presentation at AAAI 2025