随机激活函数
机器学习
2025-12-25 v3 人工智能
摘要
我们引入了随机激活函数。这一新策略在大型语言模型的前馈层中随机选择若干非线性函数之一。具体而言，我们根据伯努利抽取在 SILU 或 RELU 之间进行选择。该策略规避了与 RELU 相关的优化问题，即负输入的恒定形状会阻碍梯度流动。我们从两方面利用该策略：(1) 在预训练阶段使用随机激活函数，并使用 RELU 对模型进行微调，在推理时使用 RELU 以提供稀疏的潜在向量。这减少了推理 FLOPs，并转化为 CPU 和 GPU 上的显著加速。其效果优于从头开始使用 RELU 激活函数进行训练。(2) 我们评估了随机激活函数在序列生成中的表现。该策略表现相当不错：它具有更高的多样性，且性能仅略逊于最佳确定性非线性函数 SILU 结合温度采样的结果。这提供了一种增加生成文本多样性的替代方法。
引用
@article{arxiv.2509.22358,
title = {Stochastic activations},
author = {Maria Lomeli and Matthijs Douze and Gergely Szilvasy and Loic Cabannes and Jade Copet and Sainbayar Sukhbaatar and Jason Weston and Gabriel Synnaeve and Pierre-Emmanuel Mazaré and Hervé Jégou},
journal= {arXiv preprint arXiv:2509.22358},
year = {2025}
}