通过解码器正则化防止文本生成变分自编码器的后验坍缩
机器学习
2021-10-29 v1 计算与语言
摘要
训练以最小化重构误差的变分自编码器对后验坍缩问题十分敏感,即提议后验分布总是等于先验分布。我们提出了一种基于兄弟 dropout(fraternal dropout)的新型正则化方法来防止后验坍缩。我们使用多个指标评估了我们的方法,并观察到在所有测试配置中均有改进。
关键词
引用
@article{arxiv.2110.14945,
title = {Preventing posterior collapse in variational autoencoders for text generation via decoder regularization},
author = {Alban Petit and Caio Corro},
journal= {arXiv preprint arXiv:2110.14945},
year = {2021}
}
备注
Accepted at NeurIPS 2021 Workshop DGMs Applications