正则化线性自编码器的损失景观
机器学习
2019-05-15 v2 机器学习
摘要
自编码器是一种用于表示学习的深度学习模型。当训练以最小化数据与其重构之间的距离时，线性自编码器（LAEs）学习由前几个主方向张成的子空间，但无法学习主方向本身。在本文中，我们证明 正则化的 LAEs 在所有临界点处都是对称的，并且学习主方向作为解码器的左奇异向量。我们平滑地参数化临界流形，并将极小值与概率 PCA 的 MAP 估计联系起来。我们通过实验说明了这些结果，并考虑了其对 PCA 算法、计算神经科学以及学习的代数拓扑的意义。
引用
@article{arxiv.1901.08168,
title = {Loss Landscapes of Regularized Linear Autoencoders},
author = {Daniel Kunin and Jonathan M. Bloom and Aleksandrina Goeva and Cotton Seed},
journal= {arXiv preprint arXiv:1901.08168},
year = {2019}
}
备注
12 pages, 8 figures. ICML 2019