SMU：基于平滑最大值技术的深度网络平滑激活函数
机器学习
2022-04-12 v2 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
深度学习研究者热衷于提出两种可提升网络性能的新型激活函数。一个好的激活函数选择对改善网络性能具有重要影响。手工设计的激活函数是神经网络模型中最常见的选择。由于其简单性，ReLU 是深度学习社区中最常见的选择，尽管 ReLU 存在一些严重缺陷。在本文中，我们基于 Leaky ReLU 等已知激活函数的近似提出了一种新型激活函数，并称此函数为平滑最大值单元（SMU）。用 SMU 替换 ReLU，我们在 CIFAR100 数据集上借助 ShuffleNet V2 模型获得了 6.22% 的提升。
引用
@article{arxiv.2111.04682,
title = {SMU: smooth activation function for deep networks using smoothing maximum technique},
author = {Koushik Biswas and Sandeep Kumar and Shilpak Banerjee and Ashish Kumar Pandey},
journal= {arXiv preprint arXiv:2111.04682},
year = {2022}
}
备注
7 pages