利用绝对激活函数改进分类神经网络（以MNIST/LeNET-5为例）
机器学习
2023-04-25 v1 计算机视觉与模式识别
摘要
本文讨论了绝对激活函数（Absolute activation function）在分类神经网络中的使用。给出了该激活函数在简单及更复杂问题中的使用示例。以用于求解MNIST问题的LeNet-5网络为基线，展示了绝对激活函数相对于Tanh、ReLU和SeLU激活的效率。表明在深度网络中绝对激活不会引起梯度消失和梯度爆炸，因此绝对激活可用于简单和深度神经网络。由于使用绝对激活训练网络的高波动性，采用了一种ADAM训练算法的特殊修正，其在每个训练周期利用验证集分析估计任意测试数据集的精度下界，并使用该值停止/降低学习率，且在这些步骤之间重新初始化ADAM算法。表明使用基于绝对激活的LeNet类架构求解MNIST问题，可在提高预测精度的同时显著减少神经网络中训练参数的数量。
引用
@article{arxiv.2304.11758,
title = {Improving Classification Neural Networks by using Absolute activation function (MNIST/LeNET-5 example)},
author = {Oleg I. Berngardt},
journal= {arXiv preprint arXiv:2304.11758},
year = {2023}
}
备注
19 pages, 5 figures, 3 tables, submitted to Pattern Recognition