利用积分推导激活函数
机器学习
2025-02-04 v3 神经与进化计算
摘要
我们的工作提出了一种设计激活函数的新方法,侧重于其梯度并通过积分推导出相应的激活函数。我们引入了指数线性单元的扩展积分(xIELU),这是一种通过对应用于指数线性单元(ELU)的可训练仿射变换进行积分而推导出的可训练分段激活函数。xIELU结合了梯度的两个关键特性:(1)对于正输入,具有可训练且线性增加的梯度,类似于平方ReLU(ReLU);(2)对于负输入,具有可取负值的可训练梯度,受扩展SiLU(xSiLU)启发。从概念上讲,xIELU可以看作是ReLU的扩展,以处理负输入。xIELU中的可训练参数使其能够自适应地降低网络深层中更高层表示的非线性。在使用FineWeb Edu的125B token训练的1.1B和3B参数Llama模型的实验中,在计算成本和参数量相同的情况下,xIELU比ReLU和SwiGLU等流行激活函数取得了更低的困惑度。参考实现可在https://github.com/Anonymous5823/xielu获取。
引用
@article{arxiv.2411.13010,
title = {Deriving Activation Functions Using Integration},
author = {Allen Hao Huang and Imanol Schlag},
journal= {arXiv preprint arXiv:2411.13010},
year = {2025}
}