面向拜占庭联邦学习的弹性双时间尺度局部随机梯度下降
最优化与控制
2024-09-06 v1
摘要
我们研究了局部随机梯度下降方法，用于解决通过集中式协调器间接通信的智能体网络上的联邦优化问题。我们关注拜占庭环境，其中存在一个包含 个恶意智能体的子集，它们可以观察整个网络并向协调器发送任意值以破坏其他非故障智能体的性能。非故障智能体的目标是在存在拜占庭智能体的情况下协作计算其各自局部函数的优化器。在此环境下，先前的工作表明，由于拜占庭智能体的影响，局部随机梯度下降方法只能返回期望解的近似值。该方法是否能找到精确解仍是一个开放问题。在本文中，我们将通过提出局部随机梯度下降方法的新变体来解决这一开放问题。在现有工作中考虑的类似条件下，我们将证明所提方法精确收敛到期望解。我们将提供理论结果来刻画我们方法的收敛特性，特别是所提方法在强凸和非凸设置下均以最优速率 收敛，其中 为迭代次数。最后，我们将给出若干仿真以说明我们的理论结果。
引用
@article{arxiv.2409.03092,
title = {Resilient Two-Time-Scale Local Stochastic Gradient Descent for Byzantine Federated Learning},
author = {Amit Dutta and Thinh T. Doan},
journal= {arXiv preprint arXiv:2409.03092},
year = {2024}
}