激活函数设计维持持续学习中的可塑性
机器学习
2026-05-01 v4 人工智能
计算机视觉与模式识别
摘要
在独立同分布 (i.i.d.) 训练机制下，激活函数已被广泛基准测试，且一旦模型规模和优化方式经过调整，它们之间的差异通常会缩小。然而在持续学习中，情况有所不同：除了灾难性遗忘之外，模型可能会逐渐丧失适应能力（被称为可塑性丧失），而非线性在这种失效模式中的作用仍有待深入研究。我们表明，激活函数的选择是缓解可塑性丧失的一个主要的、与架构无关的杠杆。基于对负分支形状和饱和行为的属性级分析，我们引入了两种直接替换的非线性（Smooth-Leaky 和 Randomized Smooth-Leaky），并在两种互补环境中对它们进行了评估： 监督式类增量基准测试，以及 在旨在引发受控分布与动态转变的非平稳 MuJoCo 环境中的强化学习。我们还提供了一种简单的压力测试协议和诊断方法，将激活函数的形状与变化下的适应能力联系起来。结论很直接：经过深思熟虑的激活函数设计提供了一种轻量级、领域通用的方法，能够在无需额外容量或特定任务调优的情况下维持持续学习中的可塑性。
引用
@article{arxiv.2509.22562,
title = {Activation Function Design Sustains Plasticity in Continual Learning},
author = {Lute Lillo and Nick Cheney},
journal= {arXiv preprint arXiv:2509.22562},
year = {2026}
}