PaSca：可扩展范式下的图神经架构搜索系统
机器学习
2022-03-02 v1 人工智能
摘要
图神经网络（GNNs）在各种基于图的任务中取得了最先进的性能。然而，由于主流 GNN 基于神经消息传递机制设计，它们在数据规模和消息传递步数方面的扩展性不佳。尽管对可扩展 GNN 的设计兴趣日益浓厚，但当前研究侧重于特定的 GNN 设计，而非通用设计空间，这限制了潜在可扩展 GNN 模型的发现。本文提出 PasCa，一种新的范式和系统，它提供了一种原则性方法来系统化地构建和探索可扩展 GNN 的设计空间，而非研究单个设计。通过解构消息传递机制，PasCa 提出了一个新颖的可扩展图神经架构范式（SGAP），以及一个包含 15 万种不同设计的通用架构设计空间。遵循该范式，我们实现了一个自动搜索引擎，能够通过多目标优化自动搜索性能良好且可扩展的 GNN 架构，以平衡多个标准（如准确性和效率）之间的权衡。在十个基准数据集上的实证研究表明，我们的系统发现的代表性实例（即 PasCa-V1、V2 和 V3）在竞争性基线中取得了一致的性能。具体而言，PasCa-V3 在我们的大型工业数据集上的预测准确性比最先进的 GNN 方法 JK-Net 高出 0.4%，同时实现了高达 的训练加速。
引用
@article{arxiv.2203.00638,
title = {PaSca: a Graph Neural Architecture Search System under the Scalable Paradigm},
author = {Wentao Zhang and Yu Shen and Zheyu Lin and Yang Li and Xiaosen Li and Wen Ouyang and Yangyu Tao and Zhi Yang and Bin Cui},
journal= {arXiv preprint arXiv:2203.00638},
year = {2022}
}
备注
13 pages, 8 figures. arXiv admin note: text overlap with arXiv:2104.09880