基于 N-Gauss 激活函数的神经网络结构设计
计算机视觉与模式识别
2021-06-15 v1 人工智能
机器学习
摘要
近期研究表明，卷积神经网络的激活函数可以满足 Lipschitz 条件，进而可根据数据集规模构建相应的卷积神经网络结构，从而更深、更精确、更有效地训练数据集。在本文中，我们采纳了实验结果并引入了核心模块 N-Gauss、N-Gauss 与 Swish (Conv1、Conv2、FC1) 的神经网络结构设计，分别训练 MNIST、CIFAR10 和 CIFAR100。实验表明，N-Gauss 充分发挥了激活函数非线性建模的主要作用，使深度卷积神经网络具备分层非线性映射学习能力。同时，N-Gauss 在简单一维通道小数据集上的训练能力等同于 ReLU 和 Swish 的性能。
引用
@article{arxiv.2106.07562,
title = {Neural Network Structure Design based on N-Gauss Activation Function},
author = {Xiangri Lu and Hongbin Ma and Jingcheng Zhang},
journal= {arXiv preprint arXiv:2106.07562},
year = {2021}
}