零偏置自编码器与协同适应特征的优势
机器学习
2015-04-09 v5 计算机视觉与模式识别
机器学习
神经与进化计算
摘要
自编码器的正则化训练通常导致隐藏单元偏置取较大的负值。我们表明，负偏置是使用隐藏层的自然结果，该隐藏层既要负责表示输入数据，又要充当确保表示稀疏性的选择机制。随后我们表明，负偏置阻碍了对具有高内在维度的数据分布的学习。我们还提出了一种新的激活函数，它解耦了隐藏层的两个角色，使我们能够在学习标准自编码器通常失败的高内在维度数据上学习表示。由于这种解耦的激活函数起着隐式正则化器的作用，因此可以通过最小化训练数据的重构误差来训练模型，而无需任何额外的正则化。
引用
@article{arxiv.1402.3337,
title = {Zero-bias autoencoders and the benefits of co-adapting features},
author = {Kishore Konda and Roland Memisevic and David Krueger},
journal= {arXiv preprint arXiv:1402.3337},
year = {2015}
}