使用CoLU激活函数的更深层学习

在神经网络中，非线性由激活函数引入。一种常用的激活函数是修正线性单元（ReLU）。ReLU作为激活函数广受欢迎，但存在缺陷。Swish和Mish等最先进的函数正因能克服其他激活函数所呈现的诸多缺陷而受到关注。CoLU是一种性质上与Swish和Mish相似的激活函数。其定义为 f(x)=x/(1-xe^-(x+e^x))。它平滑、连续可微、上方无界、下方有界、非饱和且非单调。基于将CoLU与不同激活函数所做的实验，观察到CoLU在更深的神经网络上通常优于其他函数。在MNIST上以递增的卷积层数量训练不同神经网络时，CoLU在更多层上保持了最高准确率。在一个具有8个卷积层的较小网络上，CoLU具有最高平均准确率，紧随其后的是ReLU。在Fashion-MNIST上训练的VGG-13上，CoLU比Mish准确率高4.20%，比ReLU高3.31%。在Cifar-10上训练的ResNet-9上，CoLU比Swish高0.05%，比Mish高0.09%，比ReLU高0.29%。观察到激活函数可能基于不同因素（包括层数、层类型、参数量、学习率、优化器等）而优于其他激活函数。可针对这些因素与激活函数开展进一步研究，以获得更优激活函数并增进对其行为的认识。