HeSRN：基于插槽感知保持网络的异构图表示学习
机器学习
2025-12-17 v2
摘要
图变压器最近通过捕获长程依赖来实现图表示学习的显著进展，但其二次计算复杂度以及无法有效建模异构语义的局限，严重限制了其在现实异构图上的可扩展性和泛化能力。为此，我们提出HeSRN，即一种 novel Heterogeneous Slot-aware Retentive Network，用于高效且富有表现力的异构图表示学习。HeSRN引入插槽感知结构编码器，通过将异构特征投射到独立插槽并通过插槽归一化和保持基于的融合来对齐其分布，从而有效缓解了基于Transformer的模型在特征空间统一导致的语义缠结。此外，我们用保持机制替换自注意力机制，能够在线性时间复杂度下建模结构和上下文依赖，同时保持强大的表达能力。进一步地，我们采用异构保持编码器，通过多尺度保持层联合捕获局部结构信号和全局异构语义。对四个真实世界的异构图数据集进行大量实验表明，HeSRN在节点分类任务上 consistently 优于最新的异构图神经网络和图变压器基线，实现更高的准确率且计算复杂度显著降低。
引用
@article{arxiv.2510.09767,
title = {HeSRN: Representation Learning On Heterogeneous Graphs via Slot-Aware Retentive Network},
author = {Yifan Lu and Ziyun Zou and Belal Alsinglawi and Islam Al-Qudah and Izzat Alsmadi and Feilong Tang and Pengfei Jiao and Shoaib Jameel and Imran Razzak},
journal= {arXiv preprint arXiv:2510.09767},
year = {2025}
}