基于 ODE 更新的投币式赌博实现更优的无参数随机优化
机器学习
2022-05-05 v3 机器学习
摘要
无参数随机梯度下降（PFSGD）算法无需设置学习率，同时能达到最优的理论性能。然而，在实际应用中，经过调参的随机梯度下降（SGD）与 PFSGD 之间仍存在经验性能差距。本文通过一种基于截断模型上连续时间投币式赌博的新无参数算法，弥合了这一经验差距。新的更新规则通过求解一个常微分方程（ODE）推导得出，并具有闭式解。我们通过实验证明，这种新的无参数算法优于使用“最佳默认”学习率的算法，并且几乎可以媲美经过精细调参的基线方法的性能，而无需任何调参。
引用
@article{arxiv.2006.07507,
title = {Better Parameter-free Stochastic Optimization with ODE Updates for Coin-Betting},
author = {Keyi Chen and John Langford and Francesco Orabona},
journal= {arXiv preprint arXiv:2006.07507},
year = {2022}
}