基于离散归一化流混合的可靠分类变分推断
机器学习
2021-02-09 v2 机器学习
摘要
变分近似日益依赖于通过对采样估计的期望进行基于梯度的优化。处理离散潜变量因此具有挑战性，因为采样过程不可微分。连续松弛方法（如用于分类分布的 Gumbel-Softmax）支持基于梯度的优化，但并未为离散观测定义有效的概率质量。在实践中，选择松弛量较为困难，且需要优化一个与期望目标不一致的目标，这尤其给具有强有意义先验的模型带来问题。我们通过将分类分布构造为离散归一化流（discrete normalizing flows）的混合，为其提供了一种可微分的重参数化替代方案。它定义了一个恰当的离散分布，允许直接优化证据下界（evidence lower bound），并且对控制松弛的超参数较不敏感。
引用
@article{arxiv.2006.15568,
title = {Reliable Categorical Variational Inference with Mixture of Discrete Normalizing Flows},
author = {Tomasz Kuśmierczyk and Arto Klami},
journal= {arXiv preprint arXiv:2006.15568},
year = {2021}
}