利用四元数激活函数改进四元数神经网络

在本文中，我们提出了新颖的四元数激活函数，我们修改四元数的幅值或相位，作为常用分裂激活函数的替代方案。我们定义了与四元数激活函数相关的准则，随后基于此分析提出了我们的新颖激活函数。这些激活函数不是在四元数元素上分别应用 ReLU 或 Tanh 等已知激活函数，而是考虑了四元数性质并尊重四元数空间 $\mathbb{H}$。特别是，所有四元数分量都被用于计算所有输出分量，从而将例如四元数卷积中 Hamilton 乘积的优势带入激活函数中。所提出的激活函数可以结合到通过梯度下降技术训练的任意四元数神经网络中。我们进一步讨论了所提出激活函数的导数，观察到影响相位的激活函数具有有益的性质。具体而言，它们在几乎整个输入范围内都被证明是敏感的，因此可以预期梯度流会得到改善。我们对提出的四元数激活函数进行了详尽的实验评估，包括在使用 CIFAR-10 和 SVHN 数据集的两个图像分类任务上与 split ReLU 和 split Tanh 进行比较。在此，特别是影响相位的四元数激活函数始终证明能提供更好的性能。