序列 VAE 中的后验坍缩与编码器特征分散性研究
机器学习
2020-11-11 v2 计算与语言
机器学习
摘要
变分自编码器（VAEs）在建模文本方面具有巨大潜力，因为理论上它们能将高层语义与句法属性同自然语言的局部规律性分离开来。然而在实践中，带有自回归解码器的 VAEs 常遭受后验坍缩，即模型学会忽略潜变量，导致序列 VAE 退化为语言模型的现象。本文中，我们论证后验坍缩部分由编码器特征缺乏分散性所致。我们提供了经验证据以验证该假设，并提出了一种使用池化的直接修复方法。这一简单技术有效防止了后验坍缩，使模型取得显著优于标准序列 VAEs 的数据对数似然。与已有工作相比，我们提出的方法能够在计算效率更高的同时取得相当或更优的性能。
引用
@article{arxiv.1911.03976,
title = {On Posterior Collapse and Encoder Feature Dispersion in Sequence VAEs},
author = {Teng Long and Yanshuai Cao and Jackie Chi Kit Cheung},
journal= {arXiv preprint arXiv:1911.03976},
year = {2020}
}