为神经网络中的分段线性样条激活函数开发训练程序
机器学习
2025-09-24 v1 人工智能
摘要
神经网络中的激活函数通常从ReLU、tanh或sigmoid等经验证的常用静态函数中选择。然而，通过优化网络激活函数的形状，可以训练更参数高效、更准确的模型，为神经元分配更优激活。本文我提出并比较了9种训练方法，以探索具有参数化线性B样条激活函数的神经网络中的双优化动态。实验实现了在全连接神经网络（FNN）中达到最高94%的端模型误差率降低，在卷积神经网络（CNN）中达到51%的误差率降低，相较于传统基于ReLU的模型。这些收益以额外的开发和训练复杂度以及端模型延迟为代价。
引用
@article{arxiv.2509.18161,
title = {Developing Training Procedures for Piecewise-linear Spline Activation Functions in Neural Networks},
author = {William H Patty},
journal= {arXiv preprint arXiv:2509.18161},
year = {2025}
}