基于模型稀疏化与Turbo压缩感知的空中联邦多任务学习
信息论
2022-05-10 v1 机器学习
math.IT
摘要
为实现通信高效的联邦多任务学习（FMTL），我们提出了一种空中FMTL（OA-FMTL）框架，其中部署在边缘设备上的多个学习任务在边缘服务器（ES）的协调下共享一条非正交衰落信道。在OA-FMTL中，边缘设备的本地更新被稀疏化、压缩，然后以叠加方式通过上行链路信道发送。ES在存在任务间干扰的情况下利用空中计算。更具体地，所有任务的模型聚合基于改进版的turbo压缩感知（Turbo-CS）算法（称为M-Turbo-CS）从信道观测中并发重建。我们分析了所提OA-FMTL框架及M-Turbo-CS算法的性能。此外，基于该分析，我们构建了一个通信-学习优化问题，通过调节边缘设备上各任务间的功率分配来改善系统性能。数值仿真表明，我们提出的OAFMTL有效抑制了任务间干扰，并取得了与采用正交多任务传输的对应方案相当的的学习性能。结果还表明，所提任务间功率分配优化算法通过适当调节任务间功率分配显著降低了整体通信开销。
引用
@article{arxiv.2205.03810,
title = {Over-the-Air Federated Multi-Task Learning via Model Sparsification and Turbo Compressed Sensing},
author = {Haoming Ma and Xiaojun Yuan and Zhi Ding and Dian Fan and Jun Fang},
journal= {arXiv preprint arXiv:2205.03810},
year = {2022}
}