用于优化超参数在线适应的热插拔方法
机器学习
2015-04-15 v3
摘要
我们描述了一种通过在学习过程中“热插拔”优化超参数的值来实现其在线适应的通用框架。我们在自适应学习率选择的背景下，利用多臂赌博机文献中的探索-利用策略研究了这一方法。在基准神经网络上的实验表明，与众所周知的替代方案（如 AdaDelta 和进行穷举超参数搜索的随机梯度下降）相比，热插拔方法能持续得到更好的解。
引用
@article{arxiv.1412.6599,
title = {Hot Swapping for Online Adaptation of Optimization Hyperparameters},
author = {Kevin Bache and Dennis DeCoste and Padhraic Smyth},
journal= {arXiv preprint arXiv:1412.6599},
year = {2015}
}
备注
Submission to ICLR 2015