面向异构文本丰富网络的纯PLM表示学习框架——HierPromptLM
机器学习
2025-01-23 v1
摘要
对异构文本丰富网络（HTRNs）进行表示学习至关重要，这些网络包含多种类型的节点和边缘，且每个节点都与文本信息相关联。在处理文本数据方面取得成功的预训练语言模型（PLMs）的成功使得最近的研究工作聚焦于将PLMs集成到HTRN表示学习中。这些方法通常会单独处理文本和结构信息，使用PLMs和异构图神经网络（HGNNs）。然而，这种分离做法无法捕捉HTRNs中这两种信息在实际中的关键相互作用。此外，它需要额外的对齐步骤，这在PLMs和HGNNs生成的不同嵌入空间之间存在根本差异的情形下具有挑战性。为此，我们提出HierPromptLM，一种新的纯PLM框架，无需单独处理即可无缝建模文本数据和图结构。首先，我们开发了分层提示模块，通过提示学习在节点和边缘水平上将文本数据和异构图结构整合到统一的文本空间中。基于这一基础，我们进一步引入两种创新的HTRN量身定制的预训练任务，通过强调HTRNs中文本和结构信息之间的内在异构性和相互作用来微调PLMs以进行表示学习。在两个真实世界的HTRN数据集上进行的大量实验表明，HierPromptLM超过了最先进的方法，节点分类提升最多6.08%，链路预测提升最多10.84%。
引用
@article{arxiv.2501.12857,
title = {HierPromptLM: A Pure PLM-based Framework for Representation Learning on Heterogeneous Text-rich Networks},
author = {Qiuyu Zhu and Liang Zhang and Qianxiong Xu and Cheng Long},
journal= {arXiv preprint arXiv:2501.12857},
year = {2025}
}