S2Aligner：面向稀疏文本属性图的节点对高效且可迁移的预训练
机器学习
2026-05-21 v3
摘要
在文本属性图（TAGs）上进行预训练是构建可迁移图基础模型的核心，其中 LLM-as-Aligner 方法通过大语言模型的语义知识对齐图与文本表示。然而，这些方法通常假设节点文本提供充分且可靠的监督，而这一假设在现实世界的稀疏 TAGs 中常被违背。当文本锚点缺失、含噪或跨域分布不均时，图结构必须与微弱的语义证据进行对齐，导致不可靠的结构-语义对应关系以及由稀疏性引发的迁移偏差。本文提出 S2Aligner，一个感知稀疏性且增强结构的 LLM-as-Aligner 框架，用于在稀疏 TAGs 上进行图文本预训练。其核心思想是将语义对齐与结构建模解耦，允许拓扑感知信号在不污染共享语义空间的前提下增强对齐。具体而言，S2Aligner 将图文本表示分解为语义和结构组件，利用带有一致性控制的结构导向重建将可靠的拓扑线索注入文本表示，并在文本稀疏时抑制不一致的结构信号。此外，S2Aligner 引入了感知稀疏性的跨域风险平衡，通过全局-域密度比校准域风险，并基于图可靠性估计降低不可靠稀疏样本的权重。理论分析表明，该目标通过控制域风险差异来缩小跨域泛化间隙。在多种图域、稀疏级别和下游任务上的广泛实验表明，S2Aligner 持续优于现有基线。
引用
@article{arxiv.2605.18579,
title = {S2Aligner: Pair-Efficient and Transferable Pre-Training for Sparse Text-Attributed Graphs},
author = {Yuhan Wang and Haopeng Zhang and Yibo Ding and Jiaqi Yu and Xinyu Zhao and Yuhang Liu and Ziwei Zhang and Xiao Wang and Ruijie Wang},
journal= {arXiv preprint arXiv:2605.18579},
year = {2026}
}
备注
19 pages