基于时间结构辅助的空中联邦边缘学习梯度聚合
信息论
2021-03-04 v1 机器学习
math.IT
摘要
本文研究联邦边缘学习(FEEL)系统中的空中模型聚合问题。我们引入马尔可夫概率模型来刻画模型聚合序列的内在时间结构。基于该时间概率模型，我们从贝叶斯视角将模型聚合问题表述为给定所有过去观测推断期望的聚合更新。我们开发了一种基于消息传递的算法，称为时间结构辅助梯度聚合(TSA-GA)，以低复杂度和近最优性能完成该估计任务。我们进一步建立状态演化(SE)分析来刻画所提 TSA-GA 算法的性能，并在某些标准正则条件下导出 FEEL 系统期望损失下降的显式界。此外，我们开发了期望最大化(EM)策略来学习马尔可夫模型中的未知参数。我们表明所提 TSAGA 算法显著优于现有最优方法，并能在收敛速度和最终测试精度方面达到与无误差基准相当的学习性能。
引用
@article{arxiv.2103.02270,
title = {Temporal-Structure-Assisted Gradient Aggregation for Over-the-Air Federated Edge Learning},
author = {Dian Fan and Xiaojun Yuan and Ying-Jun Angela Zhang},
journal= {arXiv preprint arXiv:2103.02270},
year = {2021}
}