重新思考 ReLU 以训练更好的 CNN
计算机视觉与模式识别
2018-09-03 v2
摘要
大多数卷积神经网络共享同一特征：每个卷积层后接一个非线性激活层，其中修正线性单元(ReLU)被最广泛使用。在本文中，我们认为这两层之间比例为 1:1 的设计结构可能并非最佳选择，因为它可能导致较差的泛化能力。因此，我们试图探究一种更合适的 ReLU 使用方法，以探索更优的网络架构。具体而言，我们提出了一种比例模块，以将卷积与 ReLU 的数量之比保持为 N:M (N>M)。该比例模块几乎可应用于所有网络，且无需额外计算成本即可提升性能。全面的实验结果表明，所提方法在不同网络架构的不同基准测试上均取得了更好的性能，从而验证了本工作的优越性。
引用
@article{arxiv.1709.06247,
title = {Rethink ReLU to Training Better CNNs},
author = {Gangming Zhao and Zhaoxiang Zhang and He Guan and Peng Tang and Jingdong Wang},
journal= {arXiv preprint arXiv:1709.06247},
year = {2018}
}
备注
8 pages,10 figures, conference