通过重用样本减少运行时间
机器学习
2016-02-08 v1 机器学习
摘要
与随机梯度下降的情况相反，我们认为在使用具有方差缩减的随机方法（如 SDCA、SAG 或 SVRG）及其变体时，即使有新鲜样本可用，重用先前使用的样本而非新鲜样本也可能是有益的。我们针对 SDCA、SAG 和 SVRG 实证展示了这一点，研究了应使用的最优样本量，并且还发现了一种现象，表明以整数个 epoch 运行 SDCA 可能是浪费的。
引用
@article{arxiv.1602.02136,
title = {Reducing Runtime by Recycling Samples},
author = {Jialei Wang and Hai Wang and Nathan Srebro},
journal= {arXiv preprint arXiv:1602.02136},
year = {2016}
}