利用自编码器处理简单几何属性

图像合成是现代深度学习的核心问题，许多近期架构如自编码器和生成对抗网络（Generative Adversarial Networks）在高度复杂的数据（如人脸或风景图像）上产生了令人瞩目的结果。尽管这些结果开启了广泛的新颖高级合成应用，但对这些网络如何工作的理论理解却严重匮乏。这导致了一系列实际问题，如训练困难、倾向于采样出极少或无可变性的图像，以及泛化问题。本文中，我们提议分析最简单生成网络——自编码器——对两个简单几何属性：尺寸与位置进行编码和解码的能力。我们认为，为理解更复杂的任务，有必要首先理解这些网络如何处理简单属性。对第一个属性，我们分析居中圆盘且半径可变的图像情形。我们解释了自编码器如何将这些图像投影至最小可能维度的潜空间（一个标量）并从中解出。特别地，我们描述了无偏置网络中解码训练问题的闭式解，并表明训练期间网络确实找到了该解。随后我们探究了能产生良好泛化网络的最佳正则化方法。对第二个属性——位置，我们考察 Dirac delta 函数（亦称“one-hot”向量）的编码与解码。我们描述了一种可实现完美编码的手动设计滤波器，并表明网络在训练中自然找到了该滤波器。我们还通过实验表明，若以恰当方式采样数据集，解码亦可实现。