图像分类中的可训练激活函数
计算机视觉与模式识别
2020-06-08 v2 机器学习
神经与进化计算
摘要
在当前神经网络研究中，激活函数由人工指定，且无法在训练过程中自行改变。本文关注如何使深度神经网络的激活函数可训练。我们利用不同激活函数的级数与线性组合，使激活函数连续可变。此外，我们在 Cifar-10 数据集上测试了采用傅里叶级数模拟激活函数的 CNN（Fourier-CNN）与采用线性组合激活函数的 CNN（LC-CNN）的性能。结果表明，我们的可训练激活函数优于最常用的 ReLU 激活函数。最后，我们利用 Autoencoder 提升了 Fourier-CNN 的性能，并测试了 PSO 算法在优化网络参数方面的表现。
引用
@article{arxiv.2004.13271,
title = {Trainable Activation Function in Image Classification},
author = {Zhaohe Liao},
journal= {arXiv preprint arXiv:2004.13271},
year = {2020}
}