在线快速学习
最优化与控制
2015-11-10 v1 机器学习
机器学习
摘要
在线随机梯度下降算法的实际性能高度依赖于所选步长，而在许多应用中步长必须繁琐地手动调节。对于 SAGA、SVRG 或 AdaGrad 等更先进的随机梯度变体而言同样如此。本文中，我们提出通过对步长自身执行梯度下降来调整步长，将学习轨迹的整体性能视为步长的函数。重要的是，这种调整可以以极小的代价在线计算，而无需对全部数据迭代反向遍历。
引用
@article{arxiv.1511.02540,
title = {Speed learning on the fly},
author = {Pierre-Yves Massé and Yann Ollivier},
journal= {arXiv preprint arXiv:1511.02540},
year = {2015}
}
备注
preprint