双层自编码器的根本极限及其在梯度方法下的实现

自编码器是机器学习许多分支和有损数据压缩中一种流行的模型。然而，即便在双层设定下，其根本极限、梯度方法的性能以及优化过程中学到的特征仍知之甚少。事实上，先前工作要么考虑线性自编码器，要么考虑特定训练机制（导致压缩率消失或发散）。我们的论文通过关注在具有挑战性的比例机制下训练的非线性双层自编码器来弥补这一空白，在该机制中输入维度随表示规模线性增长。我们的结果刻画了总体风险最小化子的性质，并表明此类最小化子可由梯度方法实现；同时也揭示了其结构，从而对通过训练获得的特征给出简洁描述。对于符号激活函数的特例，我们的分析建立了通过（浅层）自编码器对有损压缩高斯信源的根本极限。最后，尽管结果是针对高斯数据证明的，在标准数据集上的数值模拟显示了理论预测的普适性。