用于玻尔兹曼机联合训练的无度量自然梯度
机器学习
2013-03-19 v2 神经与进化计算
机器学习
摘要
本文介绍了用于训练玻尔兹曼机的无度量自然梯度（MFNG）算法。与Martens [8]的无海森方法类似，我们的算法属于截断牛顿法家族，并利用高效的矩阵-向量乘积来避免显式存储自然梯度度量。该度量被证明是（在模型分布下）对数配分函数的期望二阶导数，或者等价地，能量函数偏导数向量的方差。我们在三层深度玻尔兹曼机的联合训练任务上评估了我们的方法，结果表明MFNG确实比带居中的随机最大似然具有更快的每轮收敛速度，尽管实际运行时间目前尚不具备竞争力。
引用
@article{arxiv.1301.3545,
title = {Metric-Free Natural Gradient for Joint-Training of Boltzmann Machines},
author = {Guillaume Desjardins and Razvan Pascanu and Aaron Courville and Yoshua Bengio},
journal= {arXiv preprint arXiv:1301.3545},
year = {2013}
}