TransGNN：融合 Transformer 与图神经网络协同能力的推荐系统模型
机器学习
2024-05-21 v3 信息检索
摘要
图神经网络（GNNs）通过对用户-物品交互图进行建模，已成为协同过滤（CF）颇具前景的解决方案。现有基于 GNN 的推荐系统的核心在于沿用户-物品交互边递归传递消息以精炼编码嵌入。尽管已被证明有效，当前基于 GNN 的方法仍面临感受野有限以及存在含噪的“兴趣无关”连接等挑战。相比之下，基于 Transformer 的方法擅长自适应且全局地聚合信息。然而，其在大规模交互图上的应用受限于固有复杂性以及捕捉错综纠缠的结构信息的困难。本文中，我们提出 TransGNN，一种以交替方式集成 Transformer 与 GNN 层以相互增强能力的新型模型。具体而言，TransGNN 利用 Transformer 层拓宽感受野并将信息聚合从边中解耦，从而从更相关节点聚合信息，进而增强 GNN 的消息传递。此外，为有效捕捉图结构信息，我们精心设计了位置编码并将其整合进 GNN 层，将此类结构知识编码至节点属性中，从而提升 Transformer 在图上的表现。通过提出对 Transformer 最具相关节点的采样以及两种高效样本更新策略以降低复杂度，效率问题亦得以缓解。进一步地，理论分析表明 TransGNN 相较 GNNs 具有更强的表达能力，且仅带来微小的线性复杂度增长。在五个公开数据集上的大量实验验证了 TransGNN 的有效性与高效性。
引用
@article{arxiv.2308.14355,
title = {TransGNN: Harnessing the Collaborative Power of Transformers and Graph Neural Networks for Recommender Systems},
author = {Peiyan Zhang and Yuchen Yan and Xi Zhang and Chaozhuo Li and Senzhang Wang and Feiran Huang and Sunghun Kim},
journal= {arXiv preprint arXiv:2308.14355},
year = {2024}
}
备注
Accepted by SIGIR 2024