Odin：面向文本丰富网络表示学习的双模块集成方法

文本属性图需要模型在有效地结合强大的文本理解与结构化推理能力。现有方法要么依赖 GNN——受限于过平滑和跳数依赖扩散——要么采用 Transformer 而忽视图结构，将节点视为孤立序列。我们提出 Odin（Oriented Dual-module INtegration），一种新型架构，通过面向双模块机制在选定深度注入图结构。不同于基于消息传递的 GNN，Odin不依赖多跳扩散；相反，多跳结构在特定 Transformer 层中集成，形成与模型语义层级对齐的低、中、高层次结构抽象。由于聚合作用于全局 [CLS] 表示，Odin从根本上避免了过平滑，解耦结构抽象与邻域大小或图拓扑。我们进一步证明，Odin的表达力严格包含纯 Transformer 和 GNN的表达力。为在大规模或低资源场景中实现高效，本文引入 Light Odin，即轻量级变体，保留相同的层级对齐结构抽象，实现更快的训练和推理。实验表明，Odin 在多个文本丰富图基准任务上实现了最先进的准确率，而 Light Odin 在显著降低计算成本的同时达到了竞争性的性能。Odin 与 Light Odin 共同构成了一个统一的、无跳数框架，用于原则化的结构-文本集成。该模型的源码已发布于 https://github.com/hongkaifeng/Odin。