利用内在维度和信息不平衡分析变分自编码器
机器学习
2024-11-05 v1 人工智能
机器学习
摘要
本研究利用内在维度(ID)和信息不平衡(II)对变分自编码器(VAE)的隐藏表示进行了分析。我们表明,一旦瓶颈大小大于数据的ID,VAE会经历一个转变,表现为双驼峰状的ID分布,以及由II捕捉到的信息处理方式的质变。我们的结果还揭示了对于瓶颈足够大的架构,存在两个不同的训练阶段:一个快速的拟合阶段和一个较慢的泛化阶段,这可通过ID、II和KL散度的差异化行为来评估。这些见解表明,II和ID可以作为辅助架构搜索、诊断VAE欠拟合的有效工具,并且更广泛地,它们有助于通过几何分析推进对深度生成模型的统一理解。
关键词
引用
@article{arxiv.2411.01978,
title = {Understanding Variational Autoencoders with Intrinsic Dimension and Information Imbalance},
author = {Charles Camboulin and Diego Doimo and Aldo Glielmo},
journal= {arXiv preprint arXiv:2411.01978},
year = {2024}
}
备注
4 pages, 3 figures, accepted at the Unifying Representations in Neural Models (UniReps) workshop of NeurIPS 2024 (https://unireps.org/2024/)