使用可逆层对生成式自编码器进行确定性训练
机器学习
2023-03-06 v5 机器学习
摘要
在本工作中，我们为生成式自编码器的随机变分训练提供一种确定性替代方案。我们将这些新的生成式自编码器称为流内自编码器（AutoEncoders within Flows, AEF），因为其编码器与解码器被定义为整体可逆架构的仿射层。这导致数据的确定性编码，与 VAE 的随机编码相反。本文引入两类相关的 AEF 族。第一族依赖于环境空间的划分，并通过精确最大似然进行训练。第二族利用环境空间的确定性扩展，并通过在该扩展空间中最大化对数概率进行训练。后一种情况在编码器、解码器和先验架构的选择上留有完全自由，使其成为现有 VAE 和 VAE 风格模型训练的直接替代。我们表明，这些 AEF 在对数似然和样本质量方面可比架构相同的 VAE 具有显著更高的性能，尤其对于低维潜空间。重要的是，我们表明 AEF 样本比 VAE 样本明显更清晰。
引用
@article{arxiv.2205.09546,
title = {Deterministic training of generative autoencoders using invertible layers},
author = {Gianluigi Silvestri and Daan Roos and Luca Ambrogioni},
journal= {arXiv preprint arXiv:2205.09546},
year = {2023}
}
备注
International Conference on Learning Representations 2023