激活函数：探寻最优激活函数
机器学习
2022-02-25 v1
摘要
激活函数已成为神经网络的基本组成部分之一。恰当激活函数的选择会影响这些方法的精度。在本研究中，我们通过将激活函数定义为现有激活函数的加权和，并在网络训练时进一步优化这些权重，来实验寻找最优激活函数。该研究在三个流行的图像数据集 MNIST、FashionMNIST 和 KMNIST 上使用了三种激活函数：ReLU、tanh 和 sin。我们观察到 ReLU 激活函数容易掩盖其他激活函数。此外，我们发现浅层倾向于使用 ReLU 或 LeakyReLU 类型的激活函数，而更深的层往往偏好更具收敛性的激活函数。
引用
@article{arxiv.2202.12065,
title = {Activation Functions: Dive into an optimal activation function},
author = {Vipul Bansal},
journal= {arXiv preprint arXiv:2202.12065},
year = {2022}
}