SG-Blend：学习改进Swish与GELU之间的插值以实现稳健的神经表示
机器学习
2025-06-02 v1 人工智能
摘要
激活函数的设计仍然是优化深度神经网络的关键组件。虽然Swish和GELU等主流选择展现出相当的有效性，但它们通常表现出特定领域的最优性。本工作引入了SG-Blend，这是一种新颖的激活函数，通过动态插值将我们提出的Swish一阶对称变体SSwish与成熟的GELU相融合。通过可学习参数自适应地融合这些组成函数，SG-Blend旨在利用它们的互补优势：SSwish受控的非单调性与对称性，以及GELU平滑的概率特性，从而在模型表达能力和梯度稳定性之间实现更普遍稳健的平衡。我们在不同模态和架构上进行了全面的实证评估，表明在所有考虑的自然语言和计算机视觉任务及模型中均取得了性能提升。这些结果在可忽略的计算开销下取得，突显了SG-Blend作为一种通用、直接替代方案的潜力，能够持续优于强大的当代基线。代码可在https://anonymous.4open.science/r/SGBlend-6CBC获取。
引用
@article{arxiv.2505.23942,
title = {SG-Blend: Learning an Interpolation Between Improved Swish and GELU for Robust Neural Representations},
author = {Gaurav Sarkar and Jay Gala and Subarna Tripathi},
journal= {arXiv preprint arXiv:2505.23942},
year = {2025}
}