FONDUE：一种寻找变分自编码器潜表示最优维数的算法
机器学习
2022-09-27 v1
摘要
在给定数据集上训练变分自编码器（VAE）时，确定潜变量的最优数量大多通过网格搜索完成：这一过程在计算时间和碳足迹上代价高昂。在本文中，我们探究 VAE 所学数据及潜表示的内在维数估计（IDE）。我们表明，训练仅几步后 VAE 均值表示与采样表示之间的 IDE 差异揭示了潜空间中存在被动变量，在表现良好的 VAE 中，这意味着维数冗余。利用该性质，我们提出 FONDUE：一种在均值与采样表示开始发散（即引入被动变量时）后快速确定潜维数的算法，为 VAE 与自编码器的潜维数选择提供了有原则的方法。
引用
@article{arxiv.2209.12806,
title = {FONDUE: an algorithm to find the optimal dimensionality of the latent representations of variational autoencoders},
author = {Lisa Bonheme and Marek Grzes},
journal= {arXiv preprint arXiv:2209.12806},
year = {2022}
}