无线联邦学习中用于高效空中模型聚合的时间相关稀疏化方法
信息论
2022-02-18 v1 机器学习
math.IT
摘要
联邦边缘学习（FEEL）是一种有前景的分布式机器学习（ML）框架，可推动边缘智能应用。然而，由于动态无线环境及边缘设备的资源限制，通信成为主要瓶颈。在这项工作中，我们提出具有混合聚合的时间相关稀疏化（TCS-H）方法，用于通信高效的FEEL，该方法联合利用模型压缩与空中计算的能力。通过利用模型参数间的时间相关性，我们构建了一个跨设备一致的全局稀疏掩码，从而实现高效的空中模型聚合。每个设备进一步构建局部稀疏向量以挖掘其自身的重要参数，这些参数通过正交多址的数字通信进行聚合。我们进一步为TCS-H设计了设备调度与功率分配算法。实验结果表明，在有限通信资源下，无论是i.i.d.还是non-i.i.d.数据分布，TCS-H相比传统的top-K稀疏化与正交模型聚合均能实现显著更高的精度。
引用
@article{arxiv.2202.08420,
title = {Time-Correlated Sparsification for Efficient Over-the-Air Model Aggregation in Wireless Federated Learning},
author = {Yuxuan Sun and Sheng Zhou and Zhisheng Niu and Deniz Gündüz},
journal= {arXiv preprint arXiv:2202.08420},
year = {2022}
}
备注
6 pages, 3 figures, to appear in IEEE ICC 2022