线性去噪自编码器的学习动力学
机器学习
2018-07-31 v2 机器学习
摘要
去噪自编码器（DAEs）已被证明对无监督表示学习有用，但关于输入噪声如何影响学习的透彻理论理解仍然缺乏。在此我们发展噪声如何影响DAEs中学习的理论。通过聚焦线性DAEs，我们能够推导精确描述其学习动力学的解析表达式。我们用仿真以及MNIST和CIFAR-10上的实验验证了我们的理论预测。该理论说明了当正确调谐时，噪声如何使DAEs忽略输入中的低方差方向同时学习重建它们。此外，在DAEs与标准正则化自编码器的学习动力学比较中，我们表明噪声具有类似于权重衰减的正则化效果，但具有更快的训练动力学。我们还表明我们的理论预测近似了真实世界数据上的学习动力学，并在定性上匹配非线性DAEs中观察到的动力学。
引用
@article{arxiv.1806.05413,
title = {Learning Dynamics of Linear Denoising Autoencoders},
author = {Arnu Pretorius and Steve Kroon and Herman Kamper},
journal= {arXiv preprint arXiv:1806.05413},
year = {2018}
}
备注
14 pages, 7 figures, accepted at the 35th International Conference on Machine Learning (ICML) 2018