通过局部空间收缩学习不变特征
人工智能
2011-04-22 v1
摘要
本文提出了一种训练确定性自编码器的新方法。我们证明，通过在经典重构代价函数中添加一个精心选择的惩罚项，我们可以在多个数据集上达到与其它正则化自编码器以及去噪自编码器相当或更优的结果。该惩罚项对应于编码器激活值相对于输入的雅可比矩阵的Frobenius范数。我们表明，该惩罚项会导致局部空间收缩，进而在激活层上产生鲁棒的特征。此外，我们展示了该惩罚项与正则化自编码器和去噪编码器的关系，以及它如何被视为连接确定性与非确定性自编码器的桥梁。实验发现，该惩罚有助于刻画一个能更好捕捉数据所决定的局部变化方向（对应于一个低维非线性流形）的表示，同时对垂直于该流形的绝大多数方向更具不变性。最后，我们证明，利用学习到的特征初始化多层感知机，可以在多个数据集上实现最先进的分类错误率，超越了其他预训练方法。
引用
@article{arxiv.1104.4153,
title = {Learning invariant features through local space contraction},
author = {Salah Rifai and Xavier Muller and Xavier Glorot and Gregoire Mesnil and Yoshua Bengio and Pascal Vincent},
journal= {arXiv preprint arXiv:1104.4153},
year = {2011}
}