从线性到正弦：重新思考动态图学习中的时间编码器

动态图学习对于涉及时序网络的应用至关重要，需要有效地建模时间关系。经典的基于注意力的模型如 TGAT 和 DyGFormer 依赖于正弦时间编码器来捕捉边缘事件之间的时间依赖性。先前的工作因为它们的内积依赖于事件之间的时间跨度，这些是建模事件间关系的关键特征，所以被证明是正弦编码是合理的。然而，正弦编码本质上由于其许多对一的性质而丢失了时间信息，因此需要高维度。在本文中，我们严格研究了更简单的替代方案：线性时间编码器，它避免了正弦函数导致的时间信息丢失，并减少了高维时间编码器的需求。我们表明，注意力机制可以有效地从线性时间编码中计算事件之间的时间跨度并提取相关时间模式。通过在六个动态图数据集上的大量实验，我们展示了线性时间编码器在大多数情况下提高了 TGAT 和 DyGFormer 的性能。此外，线性时间编码器可以以最小的性能损失显著减少模型参数。例如，与 100 维正弦时间编码器相比，采用 2 维线性时间编码器的 TGAT 可在五个数据集上节省 43% 的参数并实现更高的平均精度。虽然两种编码器可以同时使用，但我们的研究突显了线性时间特征在现代动态图模型中的常被忽视的优势。这些发现对各种动态图学习体系结构的设计选择具有积极影响，最终惠及于推荐系统、通信网络和交通预测等时序网络应用。