面向文本处理的神经变分推断

神经变分推断的最新进展引发了深度潜变量模型的复兴。在本文中，我们为文本的生成模型和条件模型引入了一个通用的变分推断框架。传统变分方法为潜变量上难以处理的分布推导出解析近似，而在此我们构建了一个以离散文本输入为条件的推断网络来提供变分分布。我们在两个截然不同的文本建模应用上验证了该框架：生成式文档建模和监督式问答。我们的神经变分文档模型将连续的随机文档表示与词袋生成模型相结合，在两个标准测试语料库上实现了最低的报告困惑度。神经答案选择模型在注意力机制内采用了一个随机表示层，以提取问答对之间的语义。在两个问答基准测试上，该模型超越了所有先前发布的基准。