加权对比散度
机器学习
2018-07-13 v2 神经与进化计算
机器学习
摘要
基于能量的 Boltzmann 架构的学习算法若依赖梯度下降，通常由于计算配分函数所涉及的项呈指数级数量而在计算上难以承受。因此必须借助近似方案来评估梯度。受限 Boltzmann 机（RBM）及其学习算法对比散度（CD）即属此情形。众所周知 CD 有许多缺陷，其对梯度的近似存在若干不足。克服这些缺陷已成为大量研究的基础，并设计了诸如持续 CD（persistent CD）等新算法。在本稿中，我们提出一种称为加权 CD（WCD）的新算法，由标准 CD 负相的微小改动构建而成。尽管改动甚微，本文报告的实验工作表明，WCD 以很小的额外计算代价，相比标准 CD 和持续 CD 提供了显著改进。
引用
@article{arxiv.1801.02567,
title = {Weighted Contrastive Divergence},
author = {Enrique Romero Merino and Ferran Mazzanti Castrillejo and Jordi Delgado Pin and David Buchaca Prats},
journal= {arXiv preprint arXiv:1801.02567},
year = {2018}
}