面向一般光滑非凸联邊学习的局部步骤方法与随机重洗
最优化与控制
2025-04-14 v3 机器学习
摘要
非凸机器学习问题通常不符合标准光滑性假设。基于经验发现，Zhang 等人 (2020b) 提出了更现实的广义 (L_0, L_1) 光滑性假设，尽管该假设在文献中仍属鲜有探讨。许多针对标准光滑问题设计的算法需要被修订。然而，在联邦学习的背景下，只有少数工作涉及这一问题，但依赖额外的限制性假设。在本文中，我们填补了文献中的这一空白：我们提出并分析了新的方法，包括局部步骤、客户端部分参与以及随机重洗，仅在广义光滑性之外不引入额外限制性假设。所提出的方法基于客户端与服务器步长之间的proper 相互作用以及梯度裁剪。进一步，我们在 Polyak-{\L} ojasiewicz 条件下对这些方法进行了首次分析。我们的理论与标准光滑问题的已知结果相一致，我们的实验结果支持理论洞见。
引用
@article{arxiv.2412.02781,
title = {Methods with Local Steps and Random Reshuffling for Generally Smooth Non-Convex Federated Optimization},
author = {Yury Demidovich and Petr Ostroukhov and Grigory Malinovsky and Samuel Horváth and Martin Takáč and Peter Richtárik and Eduard Gorbunov},
journal= {arXiv preprint arXiv:2412.02781},
year = {2025}
}