通过异质感知正交原型专家实现可扩展的异质图学习
机器学习
2026-01-12 v1 人工智能
摘要
异质图神经网络（HGNNs）主要通过更好的编码器取得了进展，但其解码/投影阶段仍然依赖于一个单一的共享线性头，假设它能将丰富的节点嵌入映射到标签。我们称之为线性投影瓶颈：在异质图中，上下文多样性和长尾偏移使得全局头会丢失细粒度语义，过拟合中心节点，并欠服务尾节点。虽然专家混合（MoE）可能有所帮助，但直接应用它会与结构不平衡相冲突，并存在专家崩溃的风险。我们提出了一个名为HOPE的异质感知正交原型专家框架，作为标准预测头的即插即用替代品。HOPE使用可学习的基于原型的路由，通过相似性将实例分配给专家，让专家使用遵循自然的长尾分布，并添加专家正交化以鼓励多样性并防止崩溃。在四个真实数据集上的实验表明，在SOTA HGNN骨干网络上，以最小的开销实现了持续的增益。
引用
@article{arxiv.2601.05537,
title = {Scalable Heterogeneous Graph Learning via Heterogeneous-aware Orthogonal Prototype Experts},
author = {Wei Zhou and Hong Huang and Ruize Shi and Bang Liu},
journal= {arXiv preprint arXiv:2601.05537},
year = {2026}
}