ControlVAE：可控变分自编码器
机器学习
2020-06-23 v5 机器学习
摘要
变分自编码器（VAE）及其变体已广泛应用于多种任务中，如对话生成、图像生成和解耦表示学习。然而，现有 VAE 模型在不同应用中存在若干局限。例如，VAE 在语言建模中易出现 KL 消失，在解耦中重建质量较低。为解决这些问题，我们提出了一种新颖的可控变分自编码器框架 ControlVAE，它将受自动控制理论启发的控制器与基础 VAE 结合，以提升所得生成模型的性能。具体而言，我们设计了一种新的非线性 PI 控制器（比例-积分-微分（PID）控制的变体），在模型训练期间利用输出 KL 散度作为反馈，自动调整 VAE 目标中加入的超参数（权重）。该框架使用三种应用进行评估，即语言建模、解耦表示学习和图像生成。结果表明，ControlVAE 能比现有方法实现更好的解耦和重建质量。对于语言建模，它不仅避免了 KL 消失，还提升了生成文本的多样性。最后，我们还证明了 ControlVAE 相比原始 VAE 提升了生成图像的重建质量。
引用
@article{arxiv.2004.05988,
title = {ControlVAE: Controllable Variational Autoencoder},
author = {Huajie Shao and Shuochao Yao and Dachun Sun and Aston Zhang and Shengzhong Liu and Dongxin Liu and Jun Wang and Tarek Abdelzaher},
journal= {arXiv preprint arXiv:2004.05988},
year = {2020}
}
备注
accepted by ICML2020