dynActivation：一种用于自适应非线性性的可训练激活函数族

本文提出了 $\mathrm{dynActivation}$，这是一种每层可训练的激活函数，定义为 $f_i(x) = \mathrm{BaseAct}(x)(\alpha_i - \beta_i) + \beta_i x$，其中 $\alpha_i$ 和 $\beta_i$ 是轻量级学习标量，用于在基本非线性函数与线性路径之间进行插值，$\mathrm{BaseAct}(x)$ 类似于任意 ReLU 类函数。随后比较了静态和动态 ReLU 类变体在多个视觉任务、语言建模任务和消融实验中的表现。结果表明，dynActivation 变体倾向于在保持高性能的同时线性化深层网络，这可以通过最高达到 $+54\%$ 的训练效率提升。在 CIFAR-10 上，dynActivation(Mish) 相对于静态 Mish 在 AttentionCNN 上提升最高达 $+14.02\%$，平均提升 $+6.00\%$，收敛-AUC 减少 $24\%$。在 1 到 75 层的 MNIST 深度扩展研究中，dynActivation 永远不会低于 $95\%$ 测试准确率 ($95.3$--$99.3\%$)，而 ReLU 在 25 层以下会崩溃到 $80\%$ 以下。