Swish-T：通过引入双曲正切偏置增强Swish激活函数以提升神经网络性能

我们提出了Swish-T系列，是对现有非单调激活函数Swish的改进。Swish-T通过在原始Swish函数中添加双曲正切偏置来实现。这种修改创建了一个Swish-T变体系列，每个变体都旨在在不同任务中取得优异成绩，展现出特定优势，取决于应用背景。双曲正切偏置允许在初始训练阶段对负值进行更广泛的接受，比原始Swish函数提供更平滑的非单调曲线。我们最终提出了Swish-T$_{\textbf{C}}$函数，而Swish-T和Swish-T$_{\textbf{B}}$作为Swish-T$_{\textbf{C}}$的副产品，也表现出令人满意的性能。此外，我们的消融研究表明，将Swish-T$_{\textbf{C}}$作为非参数函数仍可实现高性能。Swish-T系列在各种模型和基准数据集上均获得了实证优势，包括MNIST、Fashion MNIST、SVHN、CIFAR-10和CIFAR-100。代码已公开于https://github.com/ictseoyoungmin/Swish-T-pytorch。