理解局部竞争网络
神经与进化计算
2015-04-13 v3 机器学习
摘要
最近提出的神经网络激活函数，如修正线性单元 (rectified linear)、maxout 和局部赢家通吃 (local winner-take-all)，使得在大型复杂数据集上训练深度神经网络架构更快且更有效。这些函数的共同特征是它们在层内的小计算单元组之间实现了局部竞争，因此对于任何给定的输入模式，只有部分网络被激活。在本文中，我们试图可视化并理解这种自模块化，并为这类网络的有益特性提出统一的解释。我们还展示了我们的见解如何直接有助于利用神经网络高效地在大型数据集上执行检索。
引用
@article{arxiv.1410.1165,
title = {Understanding Locally Competitive Networks},
author = {Rupesh Kumar Srivastava and Jonathan Masci and Faustino Gomez and Jürgen Schmidhuber},
journal= {arXiv preprint arXiv:1410.1165},
year = {2015}
}
备注
9 pages + 2 supplementary, Accepted to ICLR 2015 Conference track