ControlVAE：调参、解析性质与性能分析
机器学习
2020-11-04 v1 人工智能
摘要
本文回顾可控变分自编码器（ControlVAE）这一新概念，讨论其为满足应用需求所进行的参数调优，推导其关键解析性质，并提供有用的扩展与应用。ControlVAE 是一种新的变分自编码器（VAE）框架，它将自动控制理论与基础 VAE 相结合，以将 VAE 模型的 KL 散度稳定到指定值。它利用非线性 PI 控制器（比例-积分-微分（PID）控制的一种变体），以输出 KL 散度作为反馈，动态调节证据下界（ELBO）中 KL 散度项的权重。这使我们能够精确地将 KL 散度控制到期望的值（设定点），从而有效避免后验坍缩并学习解耦表示。为了改善常规 VAE 的 ELBO，我们提供简化的理论分析以指导 ControlVAE 的 KL 散度设定点的设置。我们观察到，与寻求平衡 VAE 目标中两项的其他方法相比，ControlVAE 带来了更好的学习动态。特别地，它能在重构质量与 KL 散度之间实现良好权衡。我们在三个任务上评估所提方法：图像生成、语言建模和解耦表示学习。结果表明，在可比较的解耦程度下，ControlVAE 能比其它方法实现好得多的重构质量。在语言建模任务上，ControlVAE 能避免后验坍缩（KL 消失）并提升生成文本的多样性。此外，我们的方法能改变优化轨迹，改善图像生成的 ELBO 与重构质量。
引用
@article{arxiv.2011.01754,
title = {ControlVAE: Tuning, Analytical Properties, and Performance Analysis},
author = {Huajie Shao and Zhisheng Xiao and Shuochao Yao and Aston Zhang and Shengzhong Liu and Tarek Abdelzaher},
journal= {arXiv preprint arXiv:2011.01754},
year = {2020}
}
备注
arXiv admin note: substantial text overlap with arXiv:2004.05988