NTSFormer：一种用于多模态孤立冷启动节点分类的自教式图转换器

多模态图上的孤立冷启动节点分类具有挑战性，因为此类节点没有边且常常缺失某些模态（例如缺失文本或图像特征）。现有方法通过降级图学习模型为多层感知机 (MLP) 来解决结构孤立问题，使用带图访问的教师模型指导 MLP。但这导致学生模型容量受限，当模态缺失时问题更加突出。本文提出了Neighbor-to-Self Graph Transformer (NTSFormer)，一种统一的图转换器框架，通过自教范式联合解决孤立性和缺失模态问题。具体而言，NTSFormer 使用冷启动注意力掩码，同时为每个节点做两个预测：基于节点自身特征的“学生”预测，以及融合自身和邻居信息的“教师”预测。这使模型能够在不降级为 MLP的情况下进行自我监督，从而充分利用 Transformer 处理缺失模态的能力。为处理多样化的图信息和缺失模态，NTSFormer 执行一次多模态图预计算，将结构和特征数据转换为标记序列，然后通过混合专家 (MoE) 输入投影和转换器层进行有效融合。在公开数据集上的实验表明，NTSFormer 在多模态孤立冷启动节点分类方面实现了卓越的性能。