一种非单调平滑激活函数
机器学习
2023-10-17 v1 人工智能
摘要
激活函数在深度学习模型中至关重要，因为它们将非线性引入网络，使网络能够从误差中学习并做出调整，这对于学习复杂模式必不可少。激活函数的核心目的是将原始输入信号转换为有意义的输出激活，促进信息在神经网络中的传输。在本研究中，我们提出一种称为 Sqish 的新激活函数，它是一种非单调平滑函数，可作为现有函数的替代。我们在分类、目标检测、分割任务以及对抗鲁棒性实验中展示了其优越性。在 FGSM 对抗攻击下，使用 ShuffleNet V2 模型在 CIFAR100 数据集上，我们相对 ReLU 取得了 8.21% 的提升。使用 ShuffleNet V2 模型在 CIFAR100 数据集上的图像分类中，我们也相对 ReLU 取得了 5.87% 的提升。
引用
@article{arxiv.2310.10126,
title = {A Non-monotonic Smooth Activation Function},
author = {Koushik Biswas and Meghana Karri and Ulaş Bağcı},
journal= {arXiv preprint arXiv:2310.10126},
year = {2023}
}
备注
12 Pages