浅层非线性自编码器中的表示学习动力学
机器学习
2022-08-01 v2 无序系统与神经网络
统计力学
机器学习
摘要
自编码器是无监督学习中最简单的神经网络，因而是研究特征学习的理想框架。尽管近期已对线性自编码器的动力学获得详尽理解，非线性自编码器的研究却受限于处理具有非平凡相关性的训练数据（特征提取的基本前提）的技术困难。在此，我们研究非线性浅层自编码器中特征学习的动力学。我们导出一组渐近精确方程，描述在高维输入极限下用随机梯度下降（SGD）训练的自编码器的泛化动力学。这些方程揭示自编码器按顺序学习其输入的主成分。对长时间动力学的分析解释了 sigmoid 自编码器在权重绑定时学习失败的原因，并凸显了 ReLU 自编码器中偏置训练的重要性。基于先前线性网络的结果，我们分析了对原始 SGD 算法的改进，使其能学习精确主成分。最后，我们表明我们的方程能准确描述在 CIFAR10 等真实数据集上非线性自编码器的泛化动力学。
引用
@article{arxiv.2201.02115,
title = {The dynamics of representation learning in shallow, non-linear autoencoders},
author = {Maria Refinetti and Sebastian Goldt},
journal= {arXiv preprint arXiv:2201.02115},
year = {2022}
}