结合加速随机动力学的随机梯度方法
机器学习
2016-05-04 v1 无序系统与神经网络
统计力学
计算机视觉与模式识别
摘要
在本文中，我们提出了一种通过加速随机动力学来实现随机梯度方法的新技术，该方法有利于从大型数据集中进行学习。随机梯度方法基于小批量学习，以在数据量巨大时降低计算成本。通过注入高斯噪声可以缓解梯度的随机性，从而得到随机 Langevin 梯度方法；该方法可用于贝叶斯后验采样。然而，随机 Langevin 梯度方法的性能取决于随机动力学的混合速率。在本研究中，我们提出通过破坏细致平衡条件来提高混合速率。最近的研究表明，破坏细致平衡条件可加速向稳态的收敛，并减少采样之间的相关时间。我们在随机梯度 Langevin 方法中实现了这种对细致平衡条件的破坏，并在一个简单模型上测试了我们的方法以展示其性能。
引用
@article{arxiv.1511.06036,
title = {Stochastic gradient method with accelerated stochastic dynamics},
author = {Masayuki Ohzeki},
journal= {arXiv preprint arXiv:1511.06036},
year = {2016}
}
备注
12 pages, proceedings for International Meeting on High-Dimensional Data Driven Science (HD3-2015) (http://www.sparse-modeling.jp/HD3-2015/index_e.html)