SAU：基于近似恒等卷积的光滑激活函数
机器学习
2021-09-28 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
众所周知的激活函数如 ReLU 或 Leaky ReLU 在原点处不可微。多年来，已使用各种平滑技术提出了许多 ReLU 的光滑近似。我们通过将不可微激活函数与近似恒等进行卷积，提出其新的光滑近似。特别地，我们给出 Leaky ReLU 的光滑近似并表明它们在各类数据集与模型中优于若干知名激活函数。我们称此函数为光滑激活单元（SAU）。以 SAU 替换 ReLU，我们在 CIFAR100 数据集上通过 ShuffleNet V2 (2.0x) 模型获得 5.12% 的提升。
关键词
引用
@article{arxiv.2109.13210,
title = {SAU: Smooth activation function using convolution with approximate identities},
author = {Koushik Biswas and Sandeep Kumar and Shilpak Banerjee and Ashish Kumar Pandey},
journal= {arXiv preprint arXiv:2109.13210},
year = {2021}
}
备注
arXiv admin note: text overlap with arXiv:2109.04386