四元数因子分解机：一种用于复杂特征交互建模的轻量方案

作为成熟的方法，因子分解机（FM）能够自动学习特征间的高阶交互以进行预测，无需人工特征工程。随着深度神经网络（DNNs）的显著发展，近期持续的趋势是利用 DNNs 增强基于 FM 模型的表达能力。然而，尽管基于 DNN 的 FM 变体取得了更好结果，此类性能提升的代价是在普通 FM 之上叠加海量（通常达数百万）额外模型参数。因此，沉重的参数化阻碍了这些深度模型在现实中的实用性，尤其在资源受限的 IoT 与边缘设备上的高效部署。本文超越大多数深度 FM 模型所定义的传统实空间，从超复数空间中的四元数表示寻求解决方案。具体而言，我们提出四元数因子分解机（QFM）与四元数神经因子分解机（QNFM），这是两种新颖的轻量且省内存的四元数值模型，用于稀疏预测分析。通过以四元数代数概念对基于 FM 的模型给出全新视角，我们的模型不仅支持富有表现力的组件间特征交互，还因超复数 Hamilton 乘积相较实值矩阵乘法具有更低自由度而显著缩减参数规模。在三个大规模数据集上的大量实验结果表明，QFM 在无需引入任何额外参数的情况下较普通 FM 取得 4.36% 的性能提升，而 QNFM 以比 SOTA 同类方法最高两个数量级的参数规模缩减优于所有基线。