DynamicVAE：解耦重构误差与解耦表示学习
机器学习
2020-10-02 v2 机器学习
摘要
本文挑战了 -VAE 中权重 应大于 才能有效解耦潜在因子的常见假设。我们证明 的 -VAE 不仅能获得良好的解耦，还可通过动态控制显著提升重构精度。本文消除了 -VAE 中重构精度与解耦之间的固有权衡。现有方法如 -VAE 和 FactorVAE 在目标函数中对 KL 散度项赋予较大权重，以更好解耦为代价导致高重构误差。为缓解此问题，近期提出的 ControlVAE 动态调节 KL 散度权重，试图将权衡控制到更有利的点。然而，ControlVAE 未能消除对大 （解耦所需）与小 需求之间的冲突。相反，我们提出 DynamicVAE，在训练的不同阶段保持不同的 ，从而解耦解耦与重构精度。为使权重 沿实现此种解耦的轨迹演化，DynamicVAE 利用改进的增量 PI（比例-积分）控制器，并采用滑动平均与混合退火方法以紧密受控的方式平滑演化 KL 散度值。我们从理论上证明了所提方法的稳定性。在三个基准数据集上的评估结果表明，DynamicVAE 在取得与现有最佳方法相当的解耦的同时显著提升了重构精度。结果验证了我们的方法能够分离解耦表示学习与重构，消除两者间的固有张力。
引用
@article{arxiv.2009.06795,
title = {DynamicVAE: Decoupling Reconstruction Error and Disentangled Representation Learning},
author = {Huajie Shao and Haohong Lin and Qinmin Yang and Shuochao Yao and Han Zhao and Tarek Abdelzaher},
journal= {arXiv preprint arXiv:2009.06795},
year = {2020}
}