基于 TDMA 信道的使用过时本地更新的异步联邦学习
分布式、并行与集群计算
2024-11-22 v1
摘要
本文考虑在基于时分多址 (TDMA) 通信网络上的异步联邦学习 (FL)。考虑使用 TDMA 传输本地更新会显著延迟传统同步 FL，其中所有设备从共同的全局模型开始本地训练。在提出的异步 FL 方法中，我们将设备划分为多个 TDMA 组，使不同组在计算和通信方面同时进行。这提高了时间效率，代价是本地更新的时效性。我们推导了本地更新时效性与训练轮次中 TDMA 组大小之间的关系。此外，我们的收敛分析表明，尽管过时的本地更新阻碍了适当的全局模型更新，TDMA 信道上的异步 FL 即使在数据异构性存在的情况下也会收敛。值得注意的是，分析识别了过时本地更新对收敛率的影响。基于我们对收敛率的观察，我们通过在本地训练中引入故意延迟来细化异步 FL 策略。该细化通过减少本地更新的时效性加快收敛。我们的广泛仿真结果表明，带故意延迟的异步 FL 可通过降低资源受限无线通信网络中的本地更新时效性，快速降低全局损失。
引用
@article{arxiv.2411.13861,
title = {Asynchronous Federated Learning Using Outdated Local Updates Over TDMA Channel},
author = {Jaeyoung Song and Jun-Pyo Hong},
journal= {arXiv preprint arXiv:2411.13861},
year = {2024}
}