无强凸性假设下机器学习非精确梯度方法的非渐近收敛性分析
最优化与控制
2013-09-03 v1 机器学习
摘要
机器学习和数据拟合中的许多最新应用要求对结构化光滑凸优化问题进行算法求解。虽然梯度下降法是解决此类任务的自然选择，但它需要精确的梯度计算，因此当问题规模较大或梯度难以评估时效率低下。因此，人们对非精确梯度方法 (IGMs) 产生了浓厚兴趣，该方法在每次迭代中使用可高效计算的近似梯度进行更新。目前，IGMs 的非渐近线性收敛结果通常是在目标函数为强凸的假设下建立的，但这在许多感兴趣的应用中并不满足；而不需要强凸性假设的线性收敛结果通常具有渐近性质。在本文中，我们结合了这两类结果的优势，并在梯度近似误差线性趋于零的标准假设下，建立了 IGMs 应用于一类结构化凸优化问题时的非渐近线性收敛性。此类涵盖了目标函数不一定是强凸的情形，包括最小二乘和逻辑回归问题。我们相信，我们的技术将在其他一阶方法的非渐近收敛性分析中找到进一步的应用。
引用
@article{arxiv.1309.0113,
title = {Non-Asymptotic Convergence Analysis of Inexact Gradient Methods for Machine Learning Without Strong Convexity},
author = {Anthony Man-Cho So},
journal= {arXiv preprint arXiv:1309.0113},
year = {2013}
}