用于学习深度表示的通道均衡网络
计算机视觉与模式识别
2020-03-03 v1 机器学习
摘要
卷积神经网络（CNNs）通常通过堆叠多个基本模块来构建，每个模块包含诸如批量归一化（BN）的归一化层和诸如 ReLU 的修正线性函数。然而，本工作表明，归一化与修正线性函数的组合会导致受抑制通道，其幅值很小且对所学特征表示的贡献甚微，阻碍了 CNNs 的泛化能力。与先前简单地移除受抑制通道的方法不同，我们提出在训练期间通过设计一种新颖的神经基本模块——称为通道均衡（CE）模块——来“唤醒”它们，该模块使同一层的通道对所学表示贡献均等。我们从经验和理论上证明 CE 能够防止受抑制通道。CE 具有若干引人注目的优势。（1）它可集成到许多先进的 CNN 架构中，如 ResNet 和 MobileNet，优于其原始网络。（2）CE 与纳什均衡（一种著名的非合作博弈解）存在有趣联系。（3）大量实验表明，CE 在 ImageNet 和 COCO 等多个具有挑战性的基准上取得了最先进的性能。
引用
@article{arxiv.2003.00214,
title = {Channel Equilibrium Networks for Learning Deep Representation},
author = {Wenqi Shao and Shitao Tang and Xingang Pan and Ping Tan and Xiaogang Wang and Ping Luo},
journal= {arXiv preprint arXiv:2003.00214},
year = {2020}
}
备注
19 pages, 8 figures