利用分段线性单元学习专用激活函数
计算机视觉与模式识别
2021-04-09 v1
摘要
激活函数的选择对现代深度神经网络至关重要。流行的手工设计激活函数如修正线性单元（ReLU）及其变体在各种任务和模型中表现出良好性能。自动发现的激活函数Swish已被提出，并在许多具有挑战性的数据集上优于ReLU。然而，它有两个主要缺点。首先，基于树的搜索空间高度离散且受限，难以搜索。其次，基于样本的搜索方法效率低下，使得为每个数据集或神经架构寻找专用激活函数不可行。为应对这些缺点，我们提出了一种称为分段线性单元（PWLU）的新激活函数，它结合了精心设计的公式与学习方法。它能学习专用激活函数，并在ImageNet和COCO等大规模数据集上取得SOTA性能。例如，在ImageNet分类数据集上，相较于Swish，PWLU在ResNet-18/ResNet-50/MobileNet-V2/MobileNet-V3/EfficientNet-B0上分别提升了0.9%/0.53%/1.0%/1.7%/1.0%的top-1准确率。PWLU也易于实现且推理高效，可广泛应用于实际场景。
引用
@article{arxiv.2104.03693,
title = {Learning specialized activation functions with the Piecewise Linear Unit},
author = {Yucong Zhou and Zezhou Zhu and Zhao Zhong},
journal= {arXiv preprint arXiv:2104.03693},
year = {2021}
}