最佳两者兼备：混合图序列模型的优势
机器学习
2024-11-26 v1 社会与信息网络
摘要
现代序列模型（如 Transformer、线性 RNN 等）因其效率、表征能力和捕捉长程依赖关系的能力，成为最近深度学习框架的主干。将这些序列模型用于图结构数据近日因作为消息传递神经网络（MPNN）的替代方案而受到关注。然而，关于构成良好图序列模型的共同标准，以及在图上采用不同序列模型学习的优势与缺陷的数学描述仍存缺失。为此，我们首先提出图序列模型（GSM），一个统一的框架，用于在图上采用序列模型，包含三个主要步骤：（1）分词，将图翻译为一组序列；（2）局部编码，对每个节点的局部邻域进行编码；（3）全局编码，采用可扩展的序列模型捕捉序列内的长程依赖关系。该框架使我们能够理解、评估和比较不同序列模型主干在图任务中的能力。我们通过全局和局部图任务的视角，对 Transformer 和现代循环模型的表征能力进行理论评估，发现两类模型在正负两方面都存在优势和不足。基于此观察，我们提出了 GSM++，一种快速混合模型，使用层次亲和聚类（HAC）算法将图分词为层次序列，然后采用混合架构的 Transformer 对这些序列进行编码。我们的理论和实验结果支持 GSM++ 的设计，表明 GSM++ 在大多数基准评估中优于基线方法。
关键词
引用
@article{arxiv.2411.15671,
title = {Best of Both Worlds: Advantages of Hybrid Graph Sequence Models},
author = {Ali Behrouz and Ali Parviz and Mahdi Karami and Clayton Sanford and Bryan Perozzi and Vahab Mirrokni},
journal= {arXiv preprint arXiv:2411.15671},
year = {2024}
}