从非线性缩放等距嵌入视角对 VAE 的定量理解
机器学习
2023-02-23 v4 信息论
机器学习
math.IT
摘要
变分自编码器（VAE）估计对应于每个输入数据的潜变量的后验参数（均值与方差）。尽管其被用于诸多任务，模型的透明性仍是一个潜在问题。本文通过 VAE 的微分几何与信息论解释，提供对其性质的定量理解。根据率失真理论，最优变换编码由带 PCA 基的正交变换实现，其变换空间与输入等距。考虑变换编码与 VAE 的类比，我们从理论与实验上阐明 VAE 可映射为带由后验参数导出的尺度因子的隐式等距嵌入。由此，我们可从先验、损失度量及相应后验参数估计输入空间中的数据概率，并进一步像 PCA 的特征值那样评估各潜变量的定量重要性。
引用
@article{arxiv.2007.15190,
title = {Quantitative Understanding of VAE as a Non-linearly Scaled Isometric Embedding},
author = {Akira Nakagawa and Keizo Kato and Taiji Suzuki},
journal= {arXiv preprint arXiv:2007.15190},
year = {2023}
}
备注
Accepted to the International Conference on Machine Learning (ICML) 2021. 40 pages, 29 figures