正则化自编码器从数据生成分布中学到了什么

自编码器学到了关于底层数据生成分布的什么信息？最近的工作表明，某些自编码器变体能很好地捕捉数据的局部流形结构。本文通过展示最小化特定形式的正则化重构误差会产生一个局部刻画数据生成密度形状的重构函数，从而澄清了先前的一些观察结果。我们表明，自编码器捕捉到了分数（log-density 关于输入的导数）。这与将重构误差解释为能量函数的先前观点相矛盾。与先前的结果不同，此处提供的定理是完全通用的，不依赖于自编码器的参数化：它们展示了如果给予足够的容量和样本，自编码器将趋向于什么。这些结果针对一种收缩训练准则，我们证明该准则类似于具有小破坏噪声的去噪自编码器训练准则，但收缩应用于整个重构函数而不仅仅是编码器。类似于分数匹配 (score matching)，可以将所提出的训练准则视为最大似然的便捷替代方案，因为它不涉及配分函数。最后，我们展示了如何设置近似 Metropolis-Hastings MCMC 以从估计分布中恢复样本，并在采样实验中得到了证实。