中文

基于非相干空中共识的去中心化联邦学习

信息论 2023-02-06 v2 信号处理 math.IT

摘要

本文提出NCOTA-DGD,一种去中心化梯度下降(DGD)算法,它将局部梯度下降与一种新颖的非相干空中(NCOTA)共识方案相结合,用于解决无线连接系统中的分布式机器学习问题。NCOTA-DGD利用无线信道的波形叠加特性:它通过将局部优化信号映射为前导序列的混合,并在接收端通过非相干合并实现共识,从而在半双工约束下支持同时传输。NCOTA-DGD在发送端与接收端均无需信道状态信息,并利用平均信道路径损耗来混合信号,而无需显式获知混合权重(该权重在基于共识的优化算法中通常为已知)。本文从理论与数值两方面证明,对于具有固定共识与学习步长的光滑强凸问题,NCOTA-DGD的更新在欧氏距离上以O(K1/4)\mathcal O(K^{-1/4})的速率收敛至全局最优(目标迭代次数为KK)。在一个逻辑回归问题上对NCOTA-DGD进行了数值评估,结果显示相较于在数字与模拟正交信道上运行的经典DGD算法实现,其相对于运行时间具有更快的收敛速度。

关键词

引用

@article{arxiv.2210.15806,
  title  = {Decentralized Federated Learning via Non-Coherent Over-the-Air Consensus},
  author = {Nicolò Michelusi},
  journal= {arXiv preprint arXiv:2210.15806},
  year   = {2023}
}

备注

To appear at IEEE ICC 2023