低维数据下的变分自编码器：景观与隐式偏置
机器学习
2022-05-19 v2 机器学习
摘要
变分自编码器（VAE）是最常用的生成模型之一，尤其用于图像数据。训练VAE的一个显著困难在于数据支撑于低维流形上。Dai和Wipf（2020）近期的工作提出了一种VAE的两阶段训练算法，其基于一个猜想：在标准VAE训练中，生成器会收敛到方差为零且正确支撑于真实流形上的解。他们通过证明VAE损失的一些最优解满足该性质而给出了该猜想的部分支持，但未分析训练动态。在本文中，我们证明了对于线性编码器/解码器，该猜想成立——即VAE训练确实恢复了支撑等于真实流形的生成器——并且这是由于梯度下降的隐式偏置而非仅VAE损失本身所致。在非线性情况下，我们展示VAE训练频繁学习到维数更高、为真实流形超集的流形。
引用
@article{arxiv.2112.06868,
title = {Variational autoencoders in the presence of low-dimensional data: landscape and implicit bias},
author = {Frederic Koehler and Viraj Mehta and Chenghui Zhou and Andrej Risteski},
journal= {arXiv preprint arXiv:2112.06868},
year = {2022}
}
备注
Accepted as a conference paper at ICLR 2022