具有调制侧向连接的去噪自编码器学习自然图像的不变表示
神经与进化计算
2015-04-01 v4 计算机视觉与模式识别
机器学习
机器学习
摘要
研究表明，编码器与解码器之间合适的侧向连接可使去噪自编码器 (dAE) 的更高层专注于不变表示。在常规自编码器中，详细信息需要穿过最高层，但从编码器到解码器的侧向连接缓解了这种压力。研究表明，当允许不变特征调制侧向连接的强度时，抽象的不变特征可以转化为详细的重构。我们在使用真实世界图像的实验中比较了三种 dAE 结构：具有调制侧向连接、具有加性侧向连接以及无侧向连接的结构。实验证实，向模型添加调制侧向连接能够：1) 提高输入概率模型的准确性（通过去噪性能衡量）；2) 产生不变性程度向更高层增长更快的表示；3) 支持多样化不变池化的形成。
引用
@article{arxiv.1412.7210,
title = {Denoising autoencoder with modulated lateral connections learns invariant representations of natural images},
author = {Antti Rasmus and Tapani Raiko and Harri Valpola},
journal= {arXiv preprint arXiv:1412.7210},
year = {2015}
}
备注
Presentation at ICLR 2015 workshop