EE-Grad：成本高效小批量 SGD 的探索与利用
机器学习
2017-05-22 v1 机器学习
摘要
我们提出了一个通用框架，用于在获取不同质量随机梯度的成本先验未知时，权衡计算随机梯度的保真度与成本。我们考虑一个小批量预言机（oracle），它将有限的查询预算分配给若干随机梯度，并聚合它们以估计真实梯度。由于最优小批量大小依赖于未知的成本-保真度函数，我们提出了一种算法 {\it EE-Grad}，该算法顺序地探索小批量预言机的性能，并利用积累的知识来估计在成本效率方面达到最佳性能的那个。我们针对最优小批量预言机为 EE-Grad 提供了性能保证，并在强凸目标函数的情形下阐释了这些结果。我们还提供了一个简单的数值算例来佐证我们的理论发现。
引用
@article{arxiv.1705.07070,
title = {EE-Grad: Exploration and Exploitation for Cost-Efficient Mini-Batch SGD},
author = {Mehmet A. Donmez and Maxim Raginsky and Andrew C. Singer},
journal= {arXiv preprint arXiv:1705.07070},
year = {2017}
}