SwishReLU：一种用于提升深度神经网络性能的统一激活函数方法
机器学习
2024-07-12 v1
摘要
ReLU 是深度神经网络中常用的激活函数，容易出现“死亡 ReLU”问题。已引入若干增强版本，如 ELU、SeLU 和 Swish，但使用得较少。然而，用 Swish 替代 ReLU 由于其不一致的优势而有些困难。虽然 Swish 类似 ReLU 具有更平滑的过渡，但其计算负担通常高于 ReLU。本文提出 SwishReLU，一种结合 ReLU 和 Swish 元素的新型激活函数。我们的发现表明，SwishReLU 在性能上优于 ReLU，而计算开销也低于 Swish。本文对不同类型的 ReLU 变体与 SwishReLU 进行了比较研究。具体而言，我们在 CIFAR-10、CIFAR-100 和 MNIST 三个数据集上对比 ELU、SeLU 和 Tanh。值得注意的是，在描述于 Algorithm 2 中的 VGG16 模型中应用 SwishReLU 可在 CIFAR-10 数据集上实现 6% 的准确率提升。
引用
@article{arxiv.2407.08232,
title = {SwishReLU: A Unified Approach to Activation Functions for Enhanced Deep Neural Networks Performance},
author = {Jamshaid Ul Rahman and Rubiqa Zulfiqar and Asad Khan and Nimra},
journal= {arXiv preprint arXiv:2407.08232},
year = {2024}
}