深度神经网络中的多偏置非线性激活
计算机视觉与模式识别
2016-04-05 v1
摘要
作为一种广泛使用的非线性激活函数，修正线性单元(ReLU)通过学习的阈值或偏置在特征图中分离噪声与信号。然而，我们认为噪声与信号的分类不仅取决于响应的幅度，还取决于特征响应将如何用于检测更高层中更抽象模式的上下文。为了针对特定视觉模式输出具有不同幅度范围的多个响应图，采用ReLU及其变体的现有网络必须学习大量冗余滤波器。本文中，我们提出多偏置非线性激活(MBA)层以探索隐藏在响应幅度中的信息。它置于卷积层之后，通过多阈值化幅度将对一个卷积核的响应解耦为多个图，从而以低计算成本在特征空间中生成更多模式。它提供了极大灵活性，可选择针对不同幅度范围下不同视觉模式的响应，以在更高层中形成丰富表示。这种简单而有效的方案在多个基准上取得了最先进的(state-of-the-art)性能。
引用
@article{arxiv.1604.00676,
title = {Multi-Bias Non-linear Activation in Deep Neural Networks},
author = {Hongyang Li and Wanli Ouyang and Xiaogang Wang},
journal= {arXiv preprint arXiv:1604.00676},
year = {2016}
}