一种路由器来路由它们所有人：异构图变压器的均匀专家路由
机器学习
2026-01-23 v2 人工智能
摘要
异构图神经网络（HGNNs）的常见做法是基于节点/边类型对参数进行条件化，假设类型反映语义角色。然而，这会导致对表面级标签的过度依赖，阻碍跨类型的知识传递。我们探索将 Mixture-of-Experts（MoE）集成到 HGNNs 中——这一方向尽管在均匀设置中取得成功，却在异构设置中受到 insufficient 关注。关键的是，我们质疑是否需要类型特定的专家。我们提出 Homogeneous Expert Routing（HER），这是一种用于异构图变压器（HGT）的 MoE 层，通过在路由时随机屏蔽类型嵌入来鼓励类型无关的专家化。评估在 IMDB、ACM 和 DBLP 上进行，用于链接预测，HER 一致优于标准 HGT 和类型分离 MoE 框架。IMDB 上的分析表明，HER 专家按语义模式（如电影类型）进行专家化，而非节点类型，确认路由是由潜在语义驱动。我们的工作表明，对 expert 路由中的类型依赖进行正则化可产生更通用、更高效且更可解释的表示——这一异构图学习的新设计原则。
引用
@article{arxiv.2511.07603,
title = {One Router to Route Them All: Homogeneous Expert Routing for Heterogeneous Graph Transformers},
author = {Georgiy Shakirov and Albert Arakelov},
journal= {arXiv preprint arXiv:2511.07603},
year = {2026}
}
备注
This preprint has been withdrawn by the authors due to significant revisions in preparation for conference submission. A substantially updated version will be submitted separately