FedDRO：面向分布鲁棒学习的联邦组合优化

近年来，组合优化(CO)因其在分布鲁棒优化(DRO)及许多其他机器学习问题中的应用而受到关注。数据的大规模与分布式可用，要求开发高效的联邦学习(FL)算法来求解 CO 问题。由于目标函数的组合性质，开发用于 CO 的 FL 算法尤其具有挑战性。此外，当前求解此类问题的最先进方法依赖于大批量梯度（取决于求解精度），这在大多数实际设置中不可行。为应对这些挑战，本工作中我们提出高效的 FedAvg 型算法，用于在 FL 设置下求解非凸 CO。我们首先确立，由于每个客户端组合目标中的数据异构性会导致局部组合梯度估计偏差的放大，原始 FedAvg 不适合求解分布式 CO 问题。为此，我们提出一种新颖的 FL 框架 FedDRO，其利用 DRO 问题结构设计通信策略，使 FedAvg 能够控制组合梯度估计中的偏差。我们工作的一个关键新颖之处在于开发独立于求解精度的算法，其不需要大批量梯度（和函数求值）即可求解联邦 CO 问题。我们确立了在 FL 设置下 $\mathcal{O}(\epsilon^{-2})$ 的样本复杂度和 $\mathcal{O}(\epsilon^{-3/2})$ 的通信复杂度，同时实现了随客户端数量的线性加速。我们通过大规模 DRO 问题上的实证研究证实了理论发现。