线性 VAE 中的学习动态：后验坍缩阈值、冗余潜空间陷阱与 KL 退火加速
机器学习
2023-10-25 v1 无序系统与神经网络
机器学习
统计理论
统计理论
摘要
变分自编码器（VAEs）面临一个臭名昭著的问题：变分后验常与先验高度对齐，即所谓后验坍缩现象，这阻碍了表示学习的质量。为缓解该问题，提出了可调超参数 以及对该参数进行退火的策略，称为 KL 退火。本研究对极小 VAE 中的学习动态进行理论分析。严格证明，在输入维度很大的极限下，动态收敛于确定性过程，从而能够对泛化误差进行详细动态分析。此外，分析表明 VAE 先学习纠缠表示，再逐渐获得解纠缠表示。对确定性过程的不动点分析揭示，当 超过某一阈值时，无论训练时长如何，后验坍缩都不可避免。并且，数据生成因素对应的冗余潜变量会导致对背景噪声的过拟合；这对泛化与学习收敛均产生不利影响。分析进一步揭示，适当调谐的 KL 退火可加速收敛。
引用
@article{arxiv.2310.15440,
title = {Learning Dynamics in Linear VAE: Posterior Collapse Threshold, Superfluous Latent Space Pitfalls, and Speedup with KL Annealing},
author = {Yuma Ichikawa and Koji Hukushima},
journal= {arXiv preprint arXiv:2310.15440},
year = {2023}
}
备注
24 pages, 5 figures