联合训练自编码器的益处：一种改进的神经正切核分析

机器学习中一个引人注目的近期发现是，深度神经网络在极度过参数化的情形下能够取得令人印象深刻的性能（无论是更低的训练误差还是更高的泛化能力）。因此，在过去一年中，学界对分析过参数化网络的优化与泛化特性日益关注，若干突破性工作带来了重要的理论进展。然而，现有工作大多仅适用于监督学习场景，因而局限于分类与回归等设定。相比之下，过参数化在无监督设定中的作用得到的关注少得多。本文中，我们研究了具有ReLU激活的双层过参数化自编码器的梯度动力学。我们对给定训练数据集仅做极少假设（除温和的非退化条件外）。从随机初始化的自编码器网络出发，我们严格证明了梯度下降在两种学习 regime 下的线性收敛性，即：(i) 仅训练编码器的弱训练 regime，以及 (ii) 编码器与解码器均被训练的联合训练 regime。我们的结果表明，相较于弱训练，联合训练在寻找全局最优解方面具有显著益处，实现了所需过参数化程度的急剧降低。我们还分析了权重绑定自编码器（这是实际设定中常用的架构选择）的情况，并证明在过参数化设定下，从随机初始化点训练此类网络会导致某些意外的退化。