文本属性图表示学习的高频感知分层对比选择性编码
信息检索
2024-04-22 v2 社会与信息网络
摘要
我们研究了文本属性图（TAGs）上的节点表示学习，其中节点关联有文本信息。尽管最近关于图神经网络（GNNs）和预训练语言模型（PLMs）的研究分别展示了它们在编码网络信号和文本信号方面的能力，但在 TAGs 上精细耦合这两类模型的研究却较少。具体而言，现有的 GNNs 很少以上下文方式对每个节点中的文本进行建模；现有的 PLMs 由于其序列架构而难以表征图结构。为了应对这些挑战，我们提出了 HASH-CODE，一种高频感知谱分层对比选择性编码方法，它将 GNNs 和 PLMs 集成到一个统一模型中。与直接在 PLM 之上添加 GNN 层的先前“级联架构”不同，我们的 HASH-CODE 依赖于五个自监督优化目标，以促进不同粒度下网络信号和文本信号的彻底相互增强。此外，我们表明现有的对比目标学习的是增强图的低频分量，并提出了一种高频分量（HFC）感知的对比学习目标，使学习到的嵌入更具区分性。在六个现实世界基准上的大量实验证实了我们所提方法的有效性。此外，理论分析和项嵌入可视化为我们模型的互操作性提供了见解。
引用
@article{arxiv.2402.16240,
title = {High-Frequency-aware Hierarchical Contrastive Selective Coding for Representation Learning on Text-attributed Graphs},
author = {Peiyan Zhang and Chaozhuo Li and Liying Kang and Feiran Huang and Senzhang Wang and Xing Xie and Sunghun Kim},
journal= {arXiv preprint arXiv:2402.16240},
year = {2024}
}
备注
Accepted by WWW 2024