基于混合密度分布的随机反向传播
神经与进化计算
2016-07-20 v1
摘要
能够通过连续潜分布反向传播随机梯度，对于变分自编码器和随机梯度变分贝叶斯的出现至关重要。关键要素是一种无偏且低方差的、根据在分布样本处评估的梯度来估计分布参数梯度的方法。“重参数化技巧”提供了一类变换，为许多连续分布（包括高斯和其他位置-尺度族成员）产生此类估计器。然而，由于难以对混合权重上的离散分布进行重参数化，该技巧不易扩展到混合密度模型。本报告描述了一种替代变换，适用于任何可以从中抽取样本且具有可微密度函数的连续多元分布，并利用它推导了混合密度权重导数的无偏估计器。将该估计器与应用于各个混合分量的重参数化技巧相结合，使得训练具有混合分布潜变量的变分自编码器，或执行具有混合密度变分后验的随机变分推断变得直接。
引用
@article{arxiv.1607.05690,
title = {Stochastic Backpropagation through Mixture Density Distributions},
author = {Alex Graves},
journal= {arXiv preprint arXiv:1607.05690},
year = {2016}
}