非线性增强的自适应激活函数
机器学习
2025-05-14 v2 计算机视觉与模式识别
神经与进化计算
摘要
本文发现了一种将参数化、可学习的非线性引入激活函数的通用方法，该方法能够在不显著增加计算资源的情况下，提升代表性神经网络的精度。文中给出了基于标准整流线性单元（ReLU）以及其他几种常用激活函数的示例。相关的精度提升在MNIST手写数字数据集和一个卷积神经网络（CNN）基准示例中均得到了量化验证。
引用
@article{arxiv.2403.19896,
title = {Nonlinearity Enhanced Adaptive Activation Functions},
author = {David Yevick},
journal= {arXiv preprint arXiv:2403.19896},
year = {2025}
}