去噪自编码器的高维渐近性

我们研究了使用具有绑定权重和跳跃连接的两层非线性自编码器从高斯混合中去除数据噪声的问题。我们考虑高维极限，其中训练样本数与输入维度联合趋于无穷，而隐藏单元数保持有界。我们给出了去噪均方测试误差的闭式表达式。基于该结果，我们定量刻画了所考虑架构相对于无跳跃连接的自编码器的优势，后者与主成分分析密切相关。我们进一步表明，我们的结果能准确捕捉一系列真实数据集上的学习曲线。