动态 ReLU
计算机视觉与模式识别
2020-08-06 v2
摘要
修正线性单元（ReLU）在深度神经网络中被广泛使用。迄今为止，ReLU 及其推广（非参数或参数化）都是静态的，对所有输入样本执行相同的操作。本文中，我们提出动态 ReLU（DY-ReLU），一种参数由作用于所有输入元素的超函数生成的动态修正单元。其核心见解在于，DY-ReLU 将全局上下文编码进超函数，并相应地调整分段线性激活函数。与静态对应物相比，DY-ReLU 的额外计算开销可忽略不计，但具有显著更强的表示能力，尤其对于轻量级神经网络。仅将 DY-ReLU 用于 MobileNetV2，ImageNet 分类的 top-1 准确率便从 72.0% 提升至 76.2%，仅增加 5% 的 FLOPs。
引用
@article{arxiv.2003.10027,
title = {Dynamic ReLU},
author = {Yinpeng Chen and Xiyang Dai and Mengchen Liu and Dongdong Chen and Lu Yuan and Zicheng Liu},
journal= {arXiv preprint arXiv:2003.10027},
year = {2020}
}
备注
ECCV 2020