通过四元数激活函数改进四元数神经网络

本文提出了新的四元数激活函数，通过修改四元数模或相位来实现，作为常用分块激活函数的替代方案。我们定义与四元数激活函数相关的准则，随后基于此分析提出新型激活函数。与分别对四元数元素分别应用已知激活函数（如ReLU或Tanh）不同，这些激活函数考虑了四元数的特性，尊重四元数空间$\mathbb{H}$。特别是，所有四元数分量均用于计算所有输出分量，实现了在四元数卷积中所体现的 Hamilton 积的优势。所提激活函数可集成到任意使用梯度下降技术训练的四元数神经网络中。我们进一步讨论了所提激活函数的导数，观察到影响相位的激活函数具有良好特性。具体而言，这些函数在基本整个输入范围内都表现出敏感性，从而可期待实现改进的梯度传递。我们对所提四元数激活函数进行详尽的实验评估，包括与分块ReLU和分块Tanh在基于CIFAR-10和SVHN数据集的两个图像分类任务中的比较。其中，尤其是影响相位的四元数激活函数在所有实验中均表现出更佳性能。