无监督预训练促进适度稀疏性
机器学习
2014-06-10 v2 神经与进化计算
摘要
众所周知，直接训练深度神经网络通常会导致较差的结果。近年来的一项重大进展是发明了各种预训练方法来初始化网络参数，且已证明这些方法能带来良好的预测性能。然而，预训练成功的原因尚未被完全理解，尽管有人认为正则化和更好的优化起到了一定作用。本文对预训练的有效性提供了另一种解释，表明预训练导致所得神经网络中隐藏单元激活的稀疏性。主要原因是预训练模型可被解释为一种自适应稀疏编码。与具有 sigmoid 函数的深度神经网络相比，我们在 MNIST 和 Birdsong 上的实验结果进一步支持了这一稀疏性观察。
引用
@article{arxiv.1312.5813,
title = {Unsupervised Pretraining Encourages Moderate-Sparseness},
author = {Jun Li and Wei Luo and Jian Yang and Xiaotong Yuan},
journal= {arXiv preprint arXiv:1312.5813},
year = {2014}
}
备注
6 pages, 2 figures, (to appear) ICML-Workshop on Unsupervised Learning from Bioacoustic Big Data (uLearnBio) 2014