分层前馈网络中选择性不变性的涌现
机器学习
2017-02-27 v1 计算机视觉与模式识别
摘要
许多理论已经出现，研究在分层网络中通过诸如最大和平均池化等简单方案如何产生不变性。理论与实证研究中对于最大/平均池化的限制，使注意力偏离了产生对干扰变换不变性的更一般方式。我们猜想，分层构建选择性不变性（即仔细选择分层网络每一层所要保持不变的变换范围）对于模式识别十分重要。我们利用一种称为自适应池化（adaptive pooling）的新型池化层来寻找网络内的线性池化权重。这些带有学习到的池化权重的网络在对象分类任务上的性能可与最大/平均池化网络相媲美。有趣的是，自适应池化可以收敛到平均池化（当以随机池化权重初始化时），找到更一般的线性池化方案，甚至决定完全不进行池化。我们通过基于 SVHN 和 ILSVRC 2012 等大规模数据集上的对象分类实验阐明了选择性不变性这一通用概念。
引用
@article{arxiv.1701.08837,
title = {Emergence of Selective Invariance in Hierarchical Feed Forward Networks},
author = {Dipan K. Pal and Vishnu Boddeti and Marios Savvides},
journal= {arXiv preprint arXiv:1701.08837},
year = {2017}
}