改进SVRG用于非强凸或非凸之和目标
机器学习
2016-05-30 v3 数据结构与算法
最优化与控制
机器学习
摘要
许多经典算法在提出数年后被发现超越了最初设想的局限，并在未预见的场景中持续发挥作用。本文中，我们展示SVRG便是这样的方法：它最初为强凸目标设计，但在非强凸或求和非凸设置下同样非常鲁棒。更确切地说，我们提供了新的分析，通过应用SVRG或其新变体，在两种设置下均改进了当前最优的运行时间。由于非强凸目标包含如Lasso或逻辑回归等重要例子，而求和非凸目标包含如随机PCA等著名例子，甚至被认为与训练深度神经网络相关，我们的结果也意味着在这些应用中性能更优。
引用
@article{arxiv.1506.01972,
title = {Improved SVRG for Non-Strongly-Convex or Sum-of-Non-Convex Objectives},
author = {Zeyuan Allen-Zhu and Yang Yuan},
journal= {arXiv preprint arXiv:1506.01972},
year = {2016}
}
备注
improved writing and included more experiments in this version