引入 DOME 激活函数

本文引入一种新颖的非线性激活函数，它能在神经网络的嵌入空间中自发诱导类紧致性与正则化。该函数被称为 DOME，意为镜像指数项之差（Difference Of Mirrored Exponential terms）。该函数的基本形式可替代 sigmoid 或双曲正切函数，作为二分类问题的输出激活函数。该函数也可扩展至多类分类情形，并作为标准 softmax 函数的替代。它还可进一步泛化以取更灵活的形状，适用于网络的中间层。我们通过实验证明了该函数的性质。我们还展示了使用该函数训练的模型对对抗攻击表现出额外的鲁棒性。