ULU：一种统一激活函数

我们提出 ULU，一种新型非单调分段激活函数，定义为 $\{f(x;\alpha_1),x<0; f(x;\alpha_2),x>=0 \}$，其中 $f(x;\alpha)=0.5x(tanh(\alpha x)+1),\alpha >0$。ULU 对正负输入采用不同处理。大量实验表明，ULU 在图像分类和目标检测任务中显著优于 ReLU 和 Mish。其变体自适应 ULU（AULU）表示为 $\{f(x;\beta_1^2),x<0; f(x;\beta_2^2),x>=0 \}$，其中 $\beta_1$ 和 $\beta_2$ 是可学习参数,enable 其分别适应正负输入的响应。此外,我们引入了来自 AULU 的 LIB（Like Inductive Bias）指标,用于定量测量模型的归纳偏置。