Kernelized Edge Attention：解决时序图神经网络中的语义注意力模糊问题
机器学习
2026-02-03 v1
摘要
时序图神经网络(TGNNs)旨在捕捉动态图中结构演变和时序交互。虽然许多模型通过编码或架构设计融合时间，但它们常常在纠缠的节点和边表示上计算注意力，无法反映其不同的时序行为。节点嵌入通过聚合长期结构上下文而演变较慢，而边特征反映的是带时间戳的瞬时交互(如消息、交易或交易)。这种不匹配导致语义注意力模糊，即注意力权重无法区分缓慢漂移的节点状态和快速变化、信息丰富的边交互。结果，模型在捕捉细粒度时序依赖方面受限，提供的时序相关性计算透明度有限。本文引入 KEAT(面向时序图的 Kernelized Edge Attention)，一种新型注意力公式，通过一系列连续时间核函数(包括 Laplacian、RBF 和可学习的 MLP 变体)调制边特征。KEAT 保持节点和边的不同角色，能无缝集成到 Transformer 风格(如 DyGFormer)和消息传递(如 TGN)架构中。在链接预测任务中，KEAT 相较于最新的 DyGFormer 提升了最高 18% 的 MRR，相较于 TGN 提升了 7%，实现时序图神经网络中更准确、更可解释和更具时序感知力的消息传递。
引用
@article{arxiv.2602.00596,
title = {Kernelized Edge Attention: Addressing Semantic Attention Blurring in Temporal Graph Neural Networks},
author = {Govind Waghmare and Srini Rohan Gujulla Leel and Nikhil Tumbde and Sumedh B G and Sonia Gupta and Srikanta Bedathur},
journal= {arXiv preprint arXiv:2602.00596},
year = {2026}
}
备注
Accepted at AAAI 2026