搜索方向校正使一阶方法更快
最优化与控制
2019-05-17 v1
摘要
所谓快速惯性松弛引擎是用于无约束光滑优化问题的一阶方法。它通过过去搜索方向、当前梯度与归一化梯度方向的线性组合来更新搜索方向。我们探索更一般的组合规则，并将此推广技术称为搜索方向校正（SDC）。SDC 也被推广到复合与随机优化问题。从二阶 ODE 导出，我们提出快速惯性搜索方向校正（FISC）算法作为具有 SDC 的方法的一个例子。我们证明了 FISC 对于凸优化问题的 收敛速率。在稀疏优化、逻辑回归以及深度学习上的数值结果表明我们提出的方法与其他最先进的一阶算法极具竞争力。
引用
@article{arxiv.1905.06507,
title = {The Search direction Correction makes first-order methods faster},
author = {Yifei Wang and Zeyu Jia and Zaiwen Wen},
journal= {arXiv preprint arXiv:1905.06507},
year = {2019}
}
备注
30 pages, 3 figures