ARD-VAE: 用于发现变分自编码器相关隐层维度的统计公式
机器学习
2025-01-28 v2
摘要
变分自编码器(VAE)因其简单而有效的建模数据分布的公式而流行, 是一种流行的深层潜变量模型(DLVM)。此外, VAE 目标函数的优化比其他 DLVM 更容易实现。VAE 的瓶颈维度是关键设计选择, 对模型性能影响深远, 如通过使用 VAE 学习到的表示来发现数据集的隐藏解释因子。然而, VAE 的潜在维度大小常被视为通过反复试验来经验估计的超参数。为此, 我们提出了一种统计公式来发现建模数据集所需的相关潜在因子。在本工作中, 我们在潜在空间中使用层次化先验, 通过编码数据估计潜在轴的方差, 从而识别相关潜在维度。为此, 我们将 VAE 目标函数中的固定先验替换为层次化先验, 而其余公式保持不变。我们将该方法称为自动相关性检测变分自编码器(ARD-VAE)。我们在多个基准数据集上演示了 ARD-VAE 的有效性, 其在发现相关潜在维度及其对不同评估指标(如 FID 分数和解缠分析)的影响方面效果显著。
引用
@article{arxiv.2501.10901,
title = {ARD-VAE: A Statistical Formulation to Find the Relevant Latent Dimensions of Variational Autoencoders},
author = {Surojit Saha and Sarang Joshi and Ross Whitaker},
journal= {arXiv preprint arXiv:2501.10901},
year = {2025}
}
备注
Accepted for Oral Presentation in 2025 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)