饱和自编码器
机器学习
2013-03-21 v3
摘要
我们为隐单元激活函数包含至少一个零梯度（饱和）区域的自编码器引入了一种简单的新正则化项。该正则化项显式地鼓励激活值落在相应激活函数的饱和区域内。我们将此类模型称为饱和自编码器（SATAE）。我们证明，饱和正则化项显式地限制了 SATAE 重建远离数据流形的输入的能力。此外，我们表明当使用不同的激活函数时，可以学习到多种多样的特征。最后，我们建立了其与收缩自编码器和稀疏自编码器的联系。
引用
@article{arxiv.1301.3577,
title = {Saturating Auto-Encoders},
author = {Rostislav Goroshin and Yann LeCun},
journal= {arXiv preprint arXiv:1301.3577},
year = {2013}
}