学习丢弃：一种训练序列VAE的对抗方法
机器学习
2022-12-19 v2
摘要
原则上，将变分自编码器（VAEs）应用于序列数据提供了一种受控序列生成、操控与结构化表示学习的方法。然而，训练序列VAE颇具挑战：自回归解码器常能在不利用潜空间的情况下解释数据，即所谓后验坍缩。为缓解此问题，最先进模型通过对解码器输入施加均匀随机丢弃来削弱强大的解码器。我们从理论上证明，这去除了解码器输入提供的逐点互信息，而该信息通过利用潜空间得以补偿。随后我们提出一种对抗训练策略以实现基于信息的随机丢弃。相较于标准文本基准数据集上的均匀丢弃，我们的针对性方法同时提升了序列建模性能与潜空间所捕获的信息量。
引用
@article{arxiv.2209.12590,
title = {Learning to Drop Out: An Adversarial Approach to Training Sequence VAEs},
author = {Đorđe Miladinović and Kumar Shridhar and Kushal Jain and Max B. Paulus and Joachim M. Buhmann and Mrinmaya Sachan and Carl Allen},
journal= {arXiv preprint arXiv:2209.12590},
year = {2022}
}
备注
Accepted at NeurIPS 2022