在图变换器中整合时序与结构背景以实现关系深度学习
机器学习
2025-11-07 v1 人工智能
摘要
在医疗、金融和电子商务等领域，关系数据的时序动态源于复杂相互作用——例如患者与医生之间，或用户与产品在不同类别之间的相互作用。要使这些模型广泛实用，必须整合跨不同实体类型的长程空间和时序依赖，同时支持多任务预测。然而，现有针对关系数据的图模型主要关注空间结构，将时序信息仅当作排除未来事件的过滤约束，且通常设计用于单任务预测。为此，我们提出时序子图采样器（temporal subgraph sampler），通过检索超过immediate neighborhood 的节点来捕获时序相关关系，从而增强全局背景。此外，我们提出关系图感知器（Relational Graph Perceiver, RGP），一种用于关系深度学习的图变换器架构，利用基于交叉注意力的潜在瓶颈高效整合结构和时序背景信息。该潜在瓶颈将来自不同节点和边类型的信号整合到常见潜在空间，使模型能够在整个关系系统中构建全局背景。RGP 还包含灵活的交叉注意力解码器，支持在单个模型中对标签空间互斥的任务进行联合学习。在 RelBench、SALT 和 CTU 上的实验表明，RGP 实现了最优性能，提供了通用且可扩展的关系深度学习解决方案，支持多样化的预测任务。
引用
@article{arxiv.2511.04557,
title = {Integrating Temporal and Structural Context in Graph Transformers for Relational Deep Learning},
author = {Divyansha Lachi and Mahmoud Mohammadi and Joe Meyer and Vinam Arora and Tom Palczewski and Eva L. Dyer},
journal= {arXiv preprint arXiv:2511.04557},
year = {2025}
}