基于多臂赌博机的可调整小批量梯度下降
机器学习
2018-02-28 v3 机器学习
摘要
确定小批量梯度下降的合适批量大小通常依赖网格搜索，因而十分耗时。本文考虑一种基于多臂赌博机的可调整小批量梯度下降（RMGD）算法，通过在每个 epoch 以由其先前成功/失败定义的概率函数选择适当批量大小，从而在网格搜索中取得最佳性能。该概率鼓励探索不同批量大小，随后利用有成功历史的批量大小。在每个 epoch，RMGD 从其概率分布中采样一个批量大小，然后使用所选批量大小进行小批量梯度下降。在获得每个 epoch 的验证损失后，更新概率分布以纳入所采样批量大小的有效性。RMGD 本质上辅助学习过程探索批量大小的可能域并利用成功的批量大小。实验结果表明，RMGD 取得了优于最佳单一批量大小的性能。此外，它显然比网格搜索以更短时间达到该性能。令人惊讶的是，RMGD 取得了优于网格搜索的性能。
引用
@article{arxiv.1711.06424,
title = {A Resizable Mini-batch Gradient Descent based on a Multi-Armed Bandit},
author = {Seong Jin Cho and Sunghun Kang and Chang D. Yoo},
journal= {arXiv preprint arXiv:1711.06424},
year = {2018}
}
备注
8 pages, 5 figures, 5 tables