用于线性约束凸优化的带自适应重球动量的随机对偶坐标下降法
数值分析
2026-01-05 v4 数值分析
最优化与控制
摘要
求解具有特定最小化性质的线性方程组 的问题出现在众多科学与工程领域。在大数据时代，随机优化算法因其对前所未有规模问题的可扩展性而日益重要。本文关注在线性约束下最小化强凸函数的问题。我们考虑该问题的对偶形式并采用随机坐标下降法求解。所提出的算法框架称为自适应随机对偶坐标下降，利用从用户定义分布中采样的采样矩阵来提取梯度信息。此外，它采用 Polyak 重球动量加速，其参数通过迭代自适应学习，克服了重球动量法需预先知道某些参数（如矩阵的奇异值）的局限。借助这些扩展，该框架能够恢复该背景下许多著名方法，包括随机稀疏 Kaczmarz 方法、随机正则化 Kaczmarz 方法、线性化 Bregman 迭代以及共轭梯度（CG）法的一个变体。此外，我们引入一种等价形式，在某些情况下显著减少由动量项引入的全维向量操作需求。我们证明，在强可容目标函数下，所提方法在期望中线性收敛。数值实验证实了我们的结果。
引用
@article{arxiv.2307.16702,
title = {Stochastic dual coordinate descent with adaptive heavy ball momentum for linearly constrained convex optimization},
author = {Yun Zeng and Deren Han and Yansheng Su and Jiaxin Xie},
journal= {arXiv preprint arXiv:2307.16702},
year = {2026}
}
备注
To appear in Numerische Mathematik. arXiv admin note: text overlap with arXiv:2305.05482