自然重加权醒睡算法
机器学习
2022-09-15 v4 机器学习
摘要
Helmholtz 机（HMs）是一类由分别作为编码器和解码器的两个 Sigmoid 信念网络（SBNs）组成的生成模型。这些模型通常使用称为醒睡（WS）的两步优化算法进行训练，近来也使用改进版本，如重加权醒睡（RWS）和双向 Helmholtz 机（BiHM）。SBN 中连接的局部性在相关概率模型的 Fisher 信息矩阵中诱导出稀疏性，表现为细粒度的块对角结构。在本文中，我们利用该性质通过自然梯度高效训练 SBN 和 HM。我们提出一种称为自然重加权醒睡（NRWS）的新算法，它对应于其标准版本的几何自适应。类似地，我们还引入了自然双向 Helmholtz 机（NBiHM）。与以往工作不同，我们将展示对于 HM，自然梯度如何能够在 Fisher 信息矩阵结构中不引入任何近似的情况下被高效计算。在文献标准数据集上的实验表明，NRWS 和 NBiHM 不仅相对于其非几何基线，而且相对于 HM 的最先进训练算法都有一致的改进。改进在收敛速度以及训练后达到的对数似然值两方面均得到量化。
引用
@article{arxiv.2008.06687,
title = {Natural Reweighted Wake-Sleep},
author = {Csongor Várady and Riccardo Volpi and Luigi Malagò and Nihat Ay},
journal= {arXiv preprint arXiv:2008.06687},
year = {2022}
}
备注
41 pages, 18 figures, to be published in Neural Networks Journal