面向梯度下降批大小自适应的代价敏感方法
机器学习
2017-12-12 v1 机器学习
摘要
本文提出一种在随机梯度下降方法中自动确定批大小的新方法。批大小的选择在梯度估计精度与每次更新的样本代价之间引入权衡。我们提出通过优化期望改进的线性或二次 Taylor 近似之下界与用于估计梯度的样本数之比来确定批大小。所提方法的性能在流行分类任务上与相关方法进行了实证比较。该工作曾发表于 NIPS 优化优化器研讨会，西班牙巴塞罗那，2016。
引用
@article{arxiv.1712.03428,
title = {Cost-Sensitive Approach to Batch Size Adaptation for Gradient Descent},
author = {Matteo Pirotta and Marcello Restelli},
journal= {arXiv preprint arXiv:1712.03428},
year = {2017}
}
备注
Presented at the NIPS workshop on Optimizing the Optimizers. Barcelona, Spain, 2016