深度生成模型中用于稀疏多模态分布的证据Softmax

生成模型的许多应用依赖于对其高维输出概率分布的边际化。产生稀疏概率分布的归一化函数可使精确边际化在计算上更易处理。然而,稀疏归一化函数通常需要替代损失函数进行训练,因为对数似然对稀疏概率分布是未定义的。此外,许多稀疏归一化函数常会坍缩分布的多模态性。本文提出$\textit{ev-softmax}$,一种保留概率分布多模态性的稀疏归一化函数。我们推导了其性质,包括闭式梯度,并引入了对$\textit{ev-softmax}$的连续近似族,其具有全支撑且可用负对数似然和Kullback-Leibler散度等概率损失函数训练。我们在多种生成模型上评估了该方法,包括变分自编码器和自回归架构。我们的方法在分布精度上优于现有的稠密与稀疏归一化技术。我们证明$\textit{ev-softmax}$在保持多模态性的同时成功降低了概率分布的维度。