PowLU：用于 LLM 稳定预训练的激活函数
计算与语言
2026-05-26 v1 机器学习
摘要
在当代大型语言模型（LLM）中，swish-gated linear unit（SwiGLU）激活函数被广泛采用用于调节信息流并引入非线性。对于大正数输入，SwiGLU 近似于二次函数 ，提供强大的非线性和表达能力。然而，这一属性也会随输入或模型规模的增大导致数值不稳定，尤其在低精度 LLM 训练中尤为如此。其主要原因在于近似二次放大，扩大了输出范围并加剧了离群值。为此，我们提出一种用于大规模 LLM 预训练的稳定激活函数——Power Linear Unit（PowLU）。具体而言，PowLU 采用有理幂函数实现自适应非线性，从而提升表示能力并在尖峰区域实现稳定训练。此外，我们为 PowLU 的若干关键属性提供了理论依据。规模实验确认其性能在模型规模间保持一致，进一步的实验结果基于 Ling 架构（共 79B 和 124B 参数）表明，PowLU 在大规模 LLM 训练中与 SwiGLU 和 SwiGLU-Clip 达到竞争性成绩。此外，实验结果还表明，PowLU 有效提升了大规模 LLM 训练的可扩展性。
引用
@article{arxiv.2605.25704,
title = {PowLU: An Activation Function for Stable Pre-Training of LLMs},
author = {Peijie Jiang and Yuqi Feng and Cunyin Peng and Qian Zhao and Jia Liu and KunLong Chen and Zhiqiang Zhang and Jun Zhou},
journal= {arXiv preprint arXiv:2605.25704},
year = {2026}
}
备注
17 pages, 7 figures, techreport