PowerLinear激活函数及其在CNN第一层中的应用
计算机视觉与模式识别
2021-08-23 v1 神经与进化计算
摘要
卷积神经网络（CNNs）已成为解决计算机视觉与图像处理中未解问题的前沿工具。由于卷积算子是一个线性算子，人们提出了若干泛化方法以提升CNNs的性能。增强卷积算子能力的一种方式是激活函数作用于内积算子。本文我们将引入PowerLinear激活函数，其基于卷积算子的多项式核泛化。EvenPowLin函数是PowerLinear激活函数的主要分支。该类激活函数在正输入区域与负输入区域均不饱和，且负输入与正输入以相同幅度被激活。这些特性使得EvenPowLin激活函数能够用于CNN架构的第一层并学习输入图像的复杂特征。此外，CNN模型中使用EvenPowLin激活函数对灰度图像反色图进行分类，其准确率与原始灰度图像相当，显著优于常用激活函数。
引用
@article{arxiv.2108.09256,
title = {PowerLinear Activation Functions with application to the first layer of CNNs},
author = {Kamyar Nasiri and Kamaledin Ghiasi-Shirazi},
journal= {arXiv preprint arXiv:2108.09256},
year = {2021}
}