通过单纯形上的软阈值投影加速随机贪婪坐标下降
最优化与控制
2017-06-27 v2
摘要
本文研究了用于求解 正则化问题的著名贪婪坐标下降（GCD）算法，并通过两种流行策略改进 GCD：Nesterov 加速与随机优化。首先，我们提出了一种基于 范数平方近似的贪婪选择新规则，该问题非平凡但为凸问题；随后提出了一种称为“软阈值投影（SOTOPO）”的高效算法，用于精确求解由新规则导出的 正则化 范数平方近似问题。基于新规则与 SOTOPO 算法，Nesterov 加速与随机优化策略随后被成功应用于 GCD 算法。所得算法称为加速随机贪婪坐标下降（ASGCD），具有最优收敛速率 ，同时将贪婪选择的迭代复杂度最多降低至样本量分之一。在理论与实验上，我们均表明 ASGCD 对于具有稀疏解的高维稠密问题具有更好的性能。
引用
@article{arxiv.1702.07842,
title = {Accelerated Stochastic Greedy Coordinate Descent by Soft Thresholding Projection onto Simplex},
author = {Chaobing Song and Shaobo Cui and Yong Jiang and Shu-Tao Xia},
journal= {arXiv preprint arXiv:1702.07842},
year = {2017}
}
备注
28pages, 6 figures