将高斯退火为 ReLU：一种用于泄漏 ReLU RBM 的新采样策略
机器学习
2016-11-15 v1 机器学习
摘要
受限玻尔兹曼机(RBM)是一种二分图模型，用作基于能量的深度生成模型的构建模块。由于似然的数值稳定性和可量化性，RBM通常与伯努利单元一起使用。在此，我们考虑具有泄漏修正线性单元（称为泄漏 RBM）的指数族 RBM 的一个替代成员。我们首先研究了不同泄漏程度下泄漏 RBM 的联合和边缘分布，通过将泄漏 RBM 模型与截断高斯分布联系起来为我们提供了重要见解。该联系引出了一种简单而高效的从该模型采样的方法，其基本思想是退火泄漏性而非能量；即，从完全高斯/线性单元开始并随迭代逐渐降低泄漏性。这作为温度参数退火的替代方案，使得似然的数值估计比常用的退火重要性采样(AIS)更高效、更准确。我们进一步证明，所提出的采样算法比对比散度算法具有更快的混合特性，这有利于训练而无需任何额外计算成本。
引用
@article{arxiv.1611.03879,
title = {Annealing Gaussian into ReLU: a New Sampling Strategy for Leaky-ReLU RBM},
author = {Chun-Liang Li and Siamak Ravanbakhsh and Barnabas Poczos},
journal= {arXiv preprint arXiv:1611.03879},
year = {2016}
}