多项式组合激活函数：释放大型语言模型的动力学潜力
计算与语言
2025-03-21 v3 人工智能
机器学习
摘要
Transformer 模型因其强大的拟合能力已在各领域得到广泛应用。这一成功可部分归因于其固有的非线性。因此，除原始 Transformer 架构中使用的 ReLU 函数外，研究人员还探索了 GeLU 和 SwishGLU 等替代模块以增强非线性，从而提升表征能力。本文提出了一类新型多项式组合激活函数 PolyCom，旨在优化 Transformer 的动力学特性。理论上，我们对 PolyCom 进行了全面的数学分析，凸显了其相较于其他激活函数的增强表达能力和有效性。特别地，我们证明引入 PolyCom 的网络达到了最优近似率，表明 PolyCom 网络仅需最少参数即可近似 Sobolev 空间中的一般光滑函数。我们在大型语言模型（LLM）的预训练配置上进行了实验，涵盖稠密和稀疏两种架构。通过将传统激活函数替换为 PolyCom，LLM 能够捕捉数据中的高阶交互，从而在准确率和收敛速率等性能指标上得到提升。大量实验结果验证了我们方法的有效性，表明其相较于其他激活函数有显著提升。代码已发布于 https://github.com/BryceZhuo/PolyCom。
引用
@article{arxiv.2411.03884,
title = {Polynomial Composition Activations: Unleashing the Dynamics of Large Language Models},
author = {Zhijian Zhuo and Ya Wang and Yutao Zeng and Xiaoqing Li and Xun Zhou and Jinwen Ma},
journal= {arXiv preprint arXiv:2411.03884},
year = {2025}
}
备注
Accepted by ICLR 2025