DuConTE：面向文本属性图的双粒度文本编码器与拓扑约束注意力
计算与语言
2026-04-21 v1 人工智能
摘要
文本属性图将节点文本的语义信息与拓扑结构相结合，为文档分类和信息抽取等各种应用提供了重要价值。现有方法通常使用语言模型（LM）对文本内容进行编码，然后通过图神经网络（GNN）处理结构信息。然而，在基于LM的文本编码阶段，大多数方法仅在词语标记粒度上进行语义交互，同时忽略了来自不同节点的文本之间的结构依赖。在本工作中，我们提出了DuConTE，一种基于拓扑约束注意力的双粒度文本编码器。该模型采用两个预训练LM的级联架构，首先在词语标记粒度上编码语义，然后在节点粒度上进行编码。在每个LM的自注意力计算中，我们根据节点连通性动态调整注意力掩码矩阵，引导模型学习由图结构所信息化的语义相关性。此外，在从词语标记嵌入组成节点表示时，我们分别评估中心节点上下文和邻域上下文中标记的重要性，从而捕捉更具上下文相关性的语义信息。大量实验表明，DuConTE在多个基准数据集上的绝大多数任务上均实现了最先进的性能。
引用
@article{arxiv.2604.17411,
title = {DuConTE: Dual-Granularity Text Encoder with Topology-Constrained Attention for Text-attributed Graphs},
author = {Lexuan Liang and Tao Zou and Xuxiang Ta and Zekun Qiu},
journal= {arXiv preprint arXiv:2604.17411},
year = {2026}
}
备注
25 pages, 4 figures