无迹自编码器
机器学习
2023-06-09 v1 人工智能
计算机视觉与模式识别
摘要
变分自编码器（VAE）是基于潜变量的深度生成建模中的开创性方法。将其重构过程解释为来自潜后验分布样本的非线性变换，我们应用无迹变换（UT）——滤波领域中无迹卡尔曼滤波器（UKF）所使用的著名分布近似方法。一组称为 sigma 点的确定性采样有限统计量，提供了比广泛使用的重参数化技巧中的噪声缩放更具信息量且方差更低的后验表示，同时确保更高质量的重构。我们进一步用 Wasserstein 分布度量替换 Kullback-Leibler（KL）散度来提升性能，该度量允许更尖锐的后验。受这两个组件的启发，我们推导出一种新颖的、确定性采样风格的 VAE——无迹自编码器（UAE），纯粹通过对每样本后验的正则化类项进行训练。我们通过实验展示了在 Fréchet Inception Distance（FID）分数上相对于密切相关模型的竞争性表现，以及比 VAE 更低的训练方差。
引用
@article{arxiv.2306.05256,
title = {Unscented Autoencoder},
author = {Faris Janjoš and Lars Rosenbaum and Maxim Dolgov and J. Marius Zöllner},
journal= {arXiv preprint arXiv:2306.05256},
year = {2023}
}