通过经验损失景观实现快速全局收敛
机器学习
2018-02-14 v1 机器学习
摘要
至少二十年来，优化凸目标（损失）函数一直是机器学习的强大工具，而由于相比凸对应物具有更优的鲁棒性和分类精度等许多理想性质，非凸损失函数近来吸引了快速增长的研究兴趣。非凸估计量的主要障碍在于一般而言寻找最优解是难处理的。本文研究一些非凸 M-估计量的计算问题。特别地，我们通过利用总体损失的统计性质，证明随机方差缩减方法以线性速率收敛到全局最优。在此过程中，我们改进了批梯度方法的收敛性分析（见 \cite{mei2016landscape}）。
引用
@article{arxiv.1802.04617,
title = {Fast Global Convergence via Landscape of Empirical Loss},
author = {Chao Qu and Yan Li and Huan Xu},
journal= {arXiv preprint arXiv:1802.04617},
year = {2018}
}