基于参数化漏指数线性单元 (LELUs) 与扩散度量的非线性回归任务稳健深度网络学习
机器学习
2025-10-03 v2
摘要
本文提出一种参数化激活函数 (ac.f.)，旨在改进多维非线性数据回归。人们已知，非线性 ac.f. 对学习非数据集至关重要。本工作表明，ac.f. 的平滑性和梯度特性进一步影响大型神经网络在过拟合和对模型参数敏感性方面的性能。此类平滑但梯度消失的 ac.f. 如 ELU 或 SiLU (Swish) 性能有限，而非平滑的 ac.f. 如 RELU 和 Leaky-RELU 进一步在训练模型中引入断点。通过采用具有非零梯度的平滑 "Leaky Exponential Linear Unit"，可实现性能提升。还提出了一种新的扩散损失度量，用于衡量训练后模型的过拟合程度。
引用
@article{arxiv.2507.06765,
title = {Robust Deep Network Learning of Nonlinear Regression Tasks by Parametric Leaky Exponential Linear Units (LELUs) and a Diffusion Metric},
author = {Enda D. V. Bigarella},
journal= {arXiv preprint arXiv:2507.06765},
year = {2025}
}