DA-MoE：通过混合专家方法解决图级分析中的深度敏感性问题
机器学习
2024-11-06 v1 人工智能
摘要
图神经网络（GNN）正日益受到处理图结构数据的欢迎。在现实场景中，同一数据集内的图数据在规模上可能存在显著差异。这种变异性导致了深度敏感性，即GNN层的最优深度取决于图数据的规模。经验上，较少的层足以在较小的图中进行消息传递，而较大的图通常需要更深的网络来捕获长程依赖和全局特征。然而，现有方法通常使用固定数量的GNN层来为所有图生成表示，忽略了图结构数据中的深度敏感性问题。为应对这一挑战，我们提出了深度自适应混合专家（DA-MoE）方法，该方法对GNN主干进行了两项主要改进：1）DA-MoE采用不同的GNN层，每层被视为一个具有自身参数的专家。这种设计使模型能够灵活地在不同尺度上聚合信息，有效解决了图数据中的深度敏感性问题。2）DA-MoE利用GNN来捕获结构信息，而不是在门控网络中使用线性投影。因此，门控网络使模型能够捕获数据中的复杂模式和依赖关系。通过利用这些改进，DA-MoE中的每个专家专门学习不同尺度上的不同图模式。此外，在TU数据集和开放图基准（OGB）上的全面实验表明，DA-MoE在各种任务（包括图级、节点级和链接级分析）上持续超越现有基线。代码可在\url{https://github.com/Celin-Yao/DA-MoE}获取。
引用
@article{arxiv.2411.03025,
title = {DA-MoE: Addressing Depth-Sensitivity in Graph-Level Analysis through Mixture of Experts},
author = {Zelin Yao and Chuang Liu and Xianke Meng and Yibing Zhan and Jia Wu and Shirui Pan and Wenbin Hu},
journal= {arXiv preprint arXiv:2411.03025},
year = {2024}
}
备注
8pages