无问题参数的去中心化非凸随机优化
最优化与控制
2024-02-15 v1 分布式、并行与集群计算
摘要
现有的去中心化算法通常需要了解问题参数才能更新局部迭代。例如，超参数（如学习率）通常需要了解全局梯度的利普希茨常数或通信网络的拓扑信息，而这些在实践中通常无法获得。在本文中，我们提出了 D-NASA，这是第一个无需任何问题参数先验知识的去中心化非凸随机优化算法。我们证明，D-NASA 在非常温和的条件下对非凸目标具有最优收敛速度，并享有线性加速效应，即随着系统中节点数量的增加，计算速度会更快。我们进行了大量的数值实验来支持我们的发现。
引用
@article{arxiv.2402.08821,
title = {Problem-Parameter-Free Decentralized Nonconvex Stochastic Optimization},
author = {Jiaxiang Li and Xuxing Chen and Shiqian Ma and Mingyi Hong},
journal= {arXiv preprint arXiv:2402.08821},
year = {2024}
}