光滑强凸函数随机优化的O(log T)次投影
机器学习
2013-04-03 v1
摘要
传统的随机优化算法需要在每次迭代时将解投影到给定域内以确保可行性。当面对复杂域（如半正定锥）时，投影操作可能代价高昂，导致每次迭代的计算成本很高。在本文中，我们提出了一种旨在减少随机优化中投影次数的新算法。该算法结合了随机优化中几个最新进展的优势，包括小批量、额外梯度和epoch梯度下降，以有效利用光滑性和强凸性。我们证明，在期望和高概率下，当目标函数既光滑又强凸时，所提出的算法以仅需O(log T)次投影就达到了最优的O(1/T)收敛速率。我们的实证研究验证了理论结果。
引用
@article{arxiv.1304.0740,
title = {O(logT) Projections for Stochastic Optimization of Smooth and Strongly Convex Functions},
author = {Lijun Zhang and Tianbao Yang and Rong Jin and Xiaofei He},
journal= {arXiv preprint arXiv:1304.0740},
year = {2013}
}