等距自编码器
机器学习
2020-10-06 v2 机器学习
摘要
高维数据通常被假设为集中或接近于一个低维流形。自编码器（AE）是一种流行的技术，通过将数据推过具有低维瓶颈的神经网络并最小化重构误差来学习此类数据的表示。使用高容量 AE 通常会导致大量极小化解，其中许多表示与数据拟合良好但泛化能力差的低维流形。泛化差的两个来源是：外在的，即所学流形具有远离数据的多余部分；以及内在的，即编码器和解码器在低维参数化中引入任意失真。为缓解这些问题所采取的一种方法是添加有利于特定解的正则化器；常见的正则化器促进稀疏性、小导数或对噪声的鲁棒性。在本文中，我们主张使用等距（即局部距离保持）正则化器。具体而言，我们的正则化器鼓励：(i) 解码器为等距映射；以及 (ii) 编码器为解码器的伪逆，即编码器通过正交投影将解码器的逆扩展至外围空间。简而言之，(i) 和 (ii) 固定了内在和外在自由度，并提供了主成分分析（PCA）的非线性推广。在降维任务中等距正则化器的实验产生了有用的低维数据表示。
引用
@article{arxiv.2006.09289,
title = {Isometric Autoencoders},
author = {Amos Gropp and Matan Atzmon and Yaron Lipman},
journal= {arXiv preprint arXiv:2006.09289},
year = {2020}
}