面向移动性的异步联邦学习:动态稀疏化
计算机视觉与模式识别
2025-06-17 v3 机器学习
摘要
Asynchronous Federated Learning (AFL) 允许多个移动设备独立更新其本地模型而无需等待其他设备,从而实现分布式模型训练。然而,设备移动性引入了间歇性连接,使得梯度稀疏化和模型滞后性共同影响 AFL 收敛。本文构建了理论模型来 characterize sparsification、模型滞后性以及由移动性引起的 contact 模式之间的相互作用,以及它们对 AFL 收敛的联合影响。基于分析,我们提出一种 mobility-aware dynamic sparsification (MADS) 算法,通过 contact 时间和模型滞后性优化稀疏化程度。推导了闭式解,表明在 low-speed 条件下,MADS 增加稀疏化程度以增强收敛;而在 high-speed 条件下,MADS 减少稀疏化程度以确保在有限的 contact 时间内可靠上传。实验结果验证了理论发现。与 state-of-the-art benchmarks 相比,MADS 算法在 CIFAR-10 数据集上的图像分类准确率提高了 8.76%,在 Argoverse trajectory prediction 数据集上的平均位移误差降低了 9.46%。
引用
@article{arxiv.2506.07327,
title = {CASE: Contrastive Activation for Saliency Estimation},
author = {Dane Williamson and Yangfeng Ji and Matthew Dwyer},
journal= {arXiv preprint arXiv:2506.07327},
year = {2025}
}
备注
9 pages, 5 figures