高维变分推断中归一化流的稳定训练
机器学习
2024-02-27 v1 机器学习
摘要
基于归一化流 (NFs) 的变分推断是 MCMC 方法日益流行的替代方案。特别是，基于耦合层 (Real NVPs) 的 NFs 因其良好的实证性能而被频繁使用。理论上，增加归一化流的深度应能带来更准确的后验近似。然而，在实践中，由于随机梯度的高方差，训练用于近似高维后验分布的深度归一化流往往不可行。在这项工作中，我们表明之前用于稳定随机梯度下降方差的方法不足以实现 Real NVPs 的稳定训练。作为问题的根源，我们发现在训练过程中，样本经常表现出异常高的值。作为补救措施，我们提出了两种方法的组合：(1) Real NVPs 中尺度的软阈值处理，以及 (2) 样本的双射软对数变换。我们在几个具有挑战性的目标分布上评估了这些以及其他先前提出的修改，包括高维马蹄逻辑回归模型。我们的实验表明，通过我们的修改，可以对具有数千维的后验进行 Real NVPs 的稳定训练，从而允许通过重要性采样进行更准确的边缘似然估计。此外，我们评估了几种常见的训练技术和架构选择，并为训练用于高维变分推断的 NFs 提供了实用建议。
引用
@article{arxiv.2402.16408,
title = {Stable Training of Normalizing Flows for High-dimensional Variational Inference},
author = {Daniel Andrade},
journal= {arXiv preprint arXiv:2402.16408},
year = {2024}
}