去中心化非凸和优化
最优化与控制
2024-02-06 v1 机器学习
摘要
我们考虑最小化非凸和函数的优化问题，即一个作为非凸分量平均的凸函数。针对此类问题的现有随机算法仅关注单机和中心化场景。在本文中，我们研究去中心化设置下的非凸和优化。我们对该问题的 PMGT-SVRG 算法提出了新的理论分析，并证明了其方法的线性收敛性。然而，PMGT-SVRG 算法的收敛率线性依赖于条件数，这对于病态问题是不理想的。为了弥补这一问题，我们通过将加速、梯度跟踪和多一致性混合技术结合到 SVRG 算法中，提出了一种加速的随机去中心化一阶算法。所提方法的收敛率对条件数具有平方根依赖性。数值实验在合成和真实数据集上验证了我们提出算法的理论保证。
引用
@article{arxiv.2402.02356,
title = {Decentralized Sum-of-Nonconvex Optimization},
author = {Zhuanghua Liu and Bryan Kian Hsiang Low},
journal= {arXiv preprint arXiv:2402.02356},
year = {2024}
}