变分自编码器（意外地）沿PCA方向嵌入
机器学习
2019-04-17 v2 计算机视觉与模式识别
机器学习
摘要
变分自编码器（VAE）是一种具备表示学习与生成建模能力的强大架构。在学习可解释（解耦）表示方面，VAE及其变体展现出无与伦比的性能。然而其原因尚不清楚，因为需要一种非常特定的潜空间嵌入对齐，而VAE的设计并未以任何显式方式鼓励这种对齐。我们探讨此问题并给出如下解释：编码器中的对角近似连同固有的随机性迫使解码器局部正交。这种同时促进重构与正交的局部行为，与PCA嵌入的选择方式高度吻合。除提供直观理解外，我们以完整的理论分析以及实验对该论断加以论证。
引用
@article{arxiv.1812.06775,
title = {Variational Autoencoders Pursue PCA Directions (by Accident)},
author = {Michal Rolinek and Dominik Zietlow and Georg Martius},
journal= {arXiv preprint arXiv:1812.06775},
year = {2019}
}