用于随机优化的扩展正则化对偶平均方法
最优化与控制
2022-07-14 v6
摘要
我们提出一种新算法——扩展正则化对偶平均 (XRDA),用于求解正则化随机优化问题,它推广了正则化对偶平均 (RDA) 方法。该方法的主要新颖之处在于允许对反向步长进行灵活控制。例如,RDA 中使用的反向步长无界增长,而 XRDA 的反向步长可保持有界。我们通过实验证明,对反向步长的额外控制能在保持迭代所需性质(如稀疏性)的同时显著改善算法的收敛速率。在理论上,我们证明 XRDA 方法对一般凸目标函数达到与 RDA 相同的收敛速率。
引用
@article{arxiv.1904.02316,
title = {Extended Regularized Dual Averaging Methods for Stochastic Optimization},
author = {Jonathan W. Siegel and Jinchao Xu},
journal= {arXiv preprint arXiv:1904.02316},
year = {2022}
}