中文

DCatalyst:去中心化优化统一加速框架

最优化与控制 2025-01-31 v1 机器学习

摘要

我们研究在无中心服务器的网络代理体系结构下进行的去中心化优化,其中代理人被建模为图。目标是最小化 f+rf+r,其中 ff 表示平均本地代理损失的(强凸)函数,rr 是凸的、延伸值的函数。我们引入DCatalyst,一个统一的黑箱框架,将Nesterov 加速集成到去中心化优化算法中。%,提升其性能。在其核心,DCatalyst 作为一个\textit{不完全}、\textit{动量加速}的proximal 方法(构成外层循环),无缝集成任何选取的去中心化算法(作为内层循环)。我们展示,DCatalyst 在各种去中心化算法和问题实例中实现了最优的通信和计算复杂度(达到对数因子)。值得注意的是,它将加速能力扩展到此前缺乏加速求解方法的问题类,从而拓宽了去中心化方法的有效性。在技术层面上,我们的框架引入了{\it 不完全估计序列}——一种针对去中心化环境中复合损失最小化的 novel extension of 众所周知的Nesterov估计序列。该方法巧妙处理共识误差和代理人子问题的不完全解,这些挑战未被现有模型所解决。

关键词

引用

@article{arxiv.2501.18114,
  title  = {DCatalyst: A Unified Accelerated Framework for Decentralized Optimization},
  author = {Tianyu Cao and Xiaokai Chen and Gesualdo Scutari},
  journal= {arXiv preprint arXiv:2501.18114},
  year   = {2025}
}