Mish: 一种自正则化非单调激活函数

我们提出Mish，一种新颖的自正则化非单调激活函数，其数学定义为：f(x)=x tanh(softplus(x))。由于激活函数在神经网络的性能和训练动力学中起着至关重要的作用，我们在几个众所周知的基准上，针对架构和激活函数的最佳组合进行了实验验证。我们还观察到，数据增强技术对ImageNet-1k和MS-COCO等多个架构的基准测试有有利影响。例如，在MS-COCO目标检测中，采用CSP-DarkNet-53骨干网络的YOLOv4上，Mish在平均精度(AP_{50}^{val})上比Leaky ReLU高出2.1%；在ImageNet-1k上，ResNet-50的Top-1准确率比ReLU高出约1%，同时保持所有其他网络参数和超参数不变。此外，我们探索了Mish与Swish函数族的数学关系，并就其一阶导数行为如何可能充当正则化器、帮助深度神经网络优化提出了直观理解。代码公开于https://github.com/digantamisra98/Mish。