激活与否：学习定制化激活函数
计算机视觉与模式识别
2021-04-19 v2
摘要
我们提出了一种简单、有效且通用的激活函数，称为 ACON，它学习激活或不激活神经元。有趣的是，我们发现近期流行的 NAS 搜索激活函数 Swish 可解释为 ReLU 的平滑近似。直观地，以相同方式，我们将更一般的 Maxout 族近似为我们新颖的 ACON 族，其显著提升了性能并使 Swish 成为 ACON 的特例。接下来，我们提出 meta-ACON，它显式学习优化非线性（激活）与线性（不激活）之间的参数切换，并提供了新的设计空间。仅通过更改激活函数，我们展示了其在小模型和高度优化的庞大模型上的有效性（例如，在 MobileNet-0.25 和 ResNet-152 上分别将 ImageNet top-1 准确率提升了 6.7% 和 1.8%）。此外，我们新颖的 ACON 可自然迁移到目标检测和语义分割，表明 ACON 是多种任务中有效的替代方案。代码见 https://github.com/nmaac/acon。
引用
@article{arxiv.2009.04759,
title = {Activate or Not: Learning Customized Activation},
author = {Ningning Ma and Xiangyu Zhang and Ming Liu and Jian Sun},
journal= {arXiv preprint arXiv:2009.04759},
year = {2021}
}
备注
CVPR 2021