MARINA-P: 自适应步长下的非光滑联邦优化优异性能

非光滑高效联邦优化对许多机器学习应用至关重要，却在理论上鲜有探讨。最近的进展主要聚焦于光滑凸型和非凸型情形，留下了在非光滑凸设定下的重要认识缺口。此外，既有文献常忽视高效的服务器到工作节点的通信（下行），主要关注工作节点到服务器的通信（上行）。我们考虑上行成本可忽略的设置，聚焦于通过改进诸如 EF21-P (arXiv:2209.15218) 和 MARINA-P (arXiv:2402.06412) 等最新方案来优化下行通信。在非光滑凸设定下，我们将 EF21-P 的非光滑凸理论从单节点推广到分布式场景，并将 MARINA-P 扩展到非光滑凸情形。对于两种算法，我们证明了最优的 $O(1/\sqrt{T})$ 收敛率，并建立了与经典次梯度方法相匹配的通信复杂度界限。我们在常数步长、递减步长和自适应（Polyak 类型）步长下均提供了理论保证。我们的实验表明，在光滑非凸和非光滑凸情形下，采用相关压缩器的 MARINA-P 在其他方法之上表现出色。本工作首次针对带有服务器到工作节点压缩的分布式非光滑优化提供理论结果，并对各种步长方案进行全面分析。