无线联邦学习的联合压缩与截止期限优化
信息论
2023-12-14 v2 分布式、并行与集群计算
math.IT
摘要
联邦边缘学习（FEEL）是一种在边缘侧保护隐私的流行分布式学习框架，其中密集分布的边缘设备周期性地与服务器交换模型更新以完成全局模型训练。由于带宽有限与无线环境不确定，FEEL 可能给现有通信系统带来沉重负担。此外，在通用 FEEL 框架下，服务器需等待最慢设备完成更新上传后方可开始聚合过程，导致引发通信时间延长的掉队者问题。本文提出从两方面加速 FEEL：1）在边缘设备上执行数据压缩；2）在边缘服务器设置截止期限以排除掉队者设备。然而，上述操作分别引入了不期望的梯度压缩误差与传输中断，同样影响 FEEL 的收敛。鉴于这些实际问题，我们构建了以压缩比与截止期限为优化变量的训练时间最小化问题。为此，首先提出一种渐近无偏聚合方案以确保收敛后零最优性间隙，并通过收敛分析量化了压缩误差与传输中断对整体训练时间的影响。随后以交替方式求解所构建问题，并由此导出新颖的联合压缩与截止期限优化（JCDO）算法。针对 FEEL 中图像分类与自动驾驶等不同用例的数值实验表明，所提方法较原始 FedAVG 算法快近 30 倍，且优于现有最优方案。
引用
@article{arxiv.2305.03969,
title = {Joint Compression and Deadline Optimization for Wireless Federated Learning},
author = {Maojun Zhang and Yang Li and Dongzhu Liu and Richeng Jin and Guangxu Zhu and Caijun Zhong and Tony Q. S. Quek},
journal= {arXiv preprint arXiv:2305.03969},
year = {2023}
}
备注
13 pages, accepted by IEEE Transactions on Mobile Computing (TMC)