通过具有局部模式初始化的无偏对比散度实现深度 Boltzmann 机器的端到端训练
机器学习
2023-06-01 v1 人工智能
机器学习
摘要
我们解决了深度 Boltzmann 机器（DBM）中梯度估计有偏的问题。现有的获得无偏估计量的方法基于 Gibbs 采样器使用极大耦合，但当状态为高维时，其收敛耗时很长。在本研究中，我们提出使用基于 Metropolis-Hastings（MH）的耦合，并将状态初始化于目标分布的局部模式附近。由于 MH 倾向于拒绝提议，该耦合极有可能仅一步即收敛，从而带来高效率。我们发现，我们的方法允许 DBM 以端到端方式训练而无需贪心预训练。我们还提出了一些实用技术以进一步提升 DBM 的性能。我们通过经验证明，我们的训练算法使 DBM 展现出与其他深度生成模型相当的 generative 性能，在 MNIST 上取得了 10.33 的 FID 分数。
引用
@article{arxiv.2305.19684,
title = {End-to-end Training of Deep Boltzmann Machines by Unbiased Contrastive Divergence with Local Mode Initialization},
author = {Shohei Taniguchi and Masahiro Suzuki and Yusuke Iwasawa and Yutaka Matsuo},
journal= {arXiv preprint arXiv:2305.19684},
year = {2023}
}
备注
Accepted at ICML 2023