带误差反馈的复合优化：双平均方法
最优化与控制
2025-10-07 v1 机器学习
机器学习
摘要
在分布式机器学习训练中，通信效率是核心挑战，压缩是广泛使用的解决方案。然而，标准误差反馈 (Error Feedback) 方法（Seide 等，2014），虽然对光滑无约束优化的压缩有效（Karimireddy 等，2019），但在更广泛且实践中重要的复合优化设置下失败，该设置捕获了由光滑损失函数与非光滑正则化器或约束数组成的目标。EF 在复合优化背景下的理论基础和行为基本未被探索。在本工作中，我们考虑复合优化带有误差反馈。我们指出，基本的 EF 机制及其分析在复合部分涉及时不再成立。我们认为这源于该方法及其分析技术的根本局限。我们提出一种新方法，将双平均 (Dual Averaging) 与 EControl（Gao 等，2024）相结合，EControl 是 EF 机制的一个最新变体，并实现了首次对复合优化带误差反馈的强收敛分析。我们提供的新算法伴随我们新的分析模板，用于不完全双平均方法，可能独立感兴趣。我们还提供实验结果以补充我们的理论发现。
引用
@article{arxiv.2510.03507,
title = {Composite Optimization with Error Feedback: the Dual Averaging Approach},
author = {Yuan Gao and Anton Rodomanov and Jeremy Rack and Sebastian Stich},
journal= {arXiv preprint arXiv:2510.03507},
year = {2025}
}