自编码变分自编码器
机器学习
2020-12-08 v1 机器学习
摘要
变分自编码器（VAE）是否始终对其解码器生成的典型样本进行一致编码？本文表明，这个问题的答案或许令人惊讶是“否”；一个（名义上训练好的）VAE未必对其能够生成的典型样本摊销推断。我们研究了该行为对所学表示的影响，以及通过引入自一致性概念来修复它的后果。我们的方法依赖于对扩展VAE模型真实后验的变分近似分布的另一种构造，该扩展模型具有在编码器和解码器之间交替的马尔可夫链。该方法可用于从头训练VAE模型，或者给定已训练的VAE，它也可以完全自监督的方式作为后处理步骤运行，无需访问原始训练数据。我们的实验分析揭示，用我们自一致性方法训练的编码器导致的表示对对抗攻击引入的输入扰动具有鲁棒性（不敏感）。我们在ColorMnist和CelebA基准数据集上提供了实验结果为所学表示的性质定量，并将该方法与专门针对所需性质训练的基线进行比较。
引用
@article{arxiv.2012.03715,
title = {Autoencoding Variational Autoencoder},
author = {A. Taylan Cemgil and Sumedh Ghaisas and Krishnamurthy Dvijotham and Sven Gowal and Pushmeet Kohli},
journal= {arXiv preprint arXiv:2012.03715},
year = {2020}
}
备注
Neurips 2020