基于深度学习的图像分类中激活函数的演化
神经与进化计算
2022-06-27 v1
摘要
激活函数(AFs)在神经网络性能中起着关键作用。修正线性单元(ReLU)是目前最常用的AF。已有若干ReLU的替代方案被提出，但改进效果并不稳定。某些AF在特定任务上表现更好，但事先难以知道如何选取合适的AF。我们研究标准全连接神经网络(FCNs)和卷积神经网络(CNNs)，提出一种新颖的三群体协同演化算法来演化AF，并将其与四种其他方法(演化和非演化)进行比较。在四个数据集——MNIST、FashionMNIST、KMNIST和USPS——上测试，协同演化被证明是一种用于寻找良好AF和AF架构的有效算法。
引用
@article{arxiv.2206.12089,
title = {Evolution of Activation Functions for Deep Learning-Based Image Classification},
author = {Raz Lapid and Moshe Sipper},
journal= {arXiv preprint arXiv:2206.12089},
year = {2022}
}