偶激活函数在神经网络中的一种应用

尽管将深度学习技术应用于科学发现引起了广泛兴趣，但学习能准确描述科学数据且可解释的公式非常具有挑战性，因为可能的函数空间广阔且深度神经网络具有“黑箱”性质。成功的关键是将关于数据底层结构的现有知识或假设有效整合进深度学习模型的架构以引导机器学习。目前，这种整合通常通过自定义损失函数来完成。此处我们提出一种替代方法，通过构造反映该结构的自定义激活函数来整合关于数据结构现有知识或假设。具体而言，我们研究一个常见情形：要从数据学习到的多元目标函数 $f$ 是部分可交换的，即对于 $u,v\in \mathbb{R}^d$ 有 $f(u,v,w)=f(v,u,w)$。例如，在左右翻转下不变的图像分类满足这些条件。通过理论证明与实验验证，我们表明在其中一个全连接层中使用偶激活函数可提升神经网络性能。在我们的 9 维回归实验问题中，将其中一个非对称激活函数替换为指定的“海鸥（Seagull）”激活函数 $\log(1+x^2)$ 带来了网络性能的大幅提升。令人惊讶的是，偶激活函数在神经网络中很少被使用。我们的结果表明自定义激活函数在神经网络中具有巨大潜力。