基于温德兰径向基函数的分参数激活函数

本文提出了一种基于温德兰径向基函数（RBFs）的分参数激活函数，用于深度神经网络。温德兰RBF以其紧凑支撑、光滑性和在近似理论中的正定性著称，被适应用于解决传统激活函数（如ReLU、sigmoid和tanh）的局限性。 proposed的增强型温德兰激活将标准温德兰组件与线性和指数项相结合，提供可调的局部性、改进的梯度传递和训练期间的增强稳定性。理论分析突出了其数学属性，包括光滑性和可适应性，而经验实验在合成任务（如正弦波逼近）和基准数据集（MNIST、Fashion-MNIST）上 demonstrate了竞争性能。结果表明，温德兰激活在某些场景下尤其在回归任务中实现了 superior accuracy，同时保持计算效率。该研究将经典RBF理论与现代深度学习相结合，表明温德兰激活可通过局部、光滑的变换来缓解过拟合并提高泛化能力。未来方向包括混合体系结构和特定领域的适应性。