具有增强线性变换的批归一化
计算机视觉与模式识别
2020-12-01 v1
摘要
批归一化（BN）是现代深度网络中的基础单元，其中设计了一个线性变换模块以提高 BN 拟合复杂数据分布的灵活性。在本文中，我们证明恰当地增强该线性变换模块可以有效提升 BN 的能力。具体而言，我们提议不再仅使用单个神经元，而是额外考虑每个神经元的邻域来计算线性变换的输出。我们的方法名为 BNET，在大多数深度学习库中可用 2-3 行代码实现。尽管简单，BNET 在多种骨干网络和视觉基准上带来了持续的性能提升。此外，我们验证了 BNET 通过相应地为重要神经元分配更大权重，加速了网络训练的收敛并增强了空间信息。代码可在 https://github.com/yuhuixu1993/BNET 获取。
引用
@article{arxiv.2011.14150,
title = {Batch Normalization with Enhanced Linear Transformation},
author = {Yuhui Xu and Lingxi Xie and Cihang Xie and Jieru Mei and Siyuan Qiao and Wei Shen and Hongkai Xiong and Alan Yuille},
journal= {arXiv preprint arXiv:2011.14150},
year = {2020}
}
备注
12 pages. The code is available at https://github.com/yuhuixu1993/BNET