图上概率对偶网络架构搜索
机器学习
2020-03-24 v1 机器学习
摘要
我们提出了首个面向图神经网络（GNNs）的可微网络架构搜索（NAS）。GNNs在广泛任务上展现出良好性能，但需要大量架构工程。首先，图本质上是一种非欧几里得且复杂的数据结构，导致GNN架构在不同数据集间适应性差。其次，典型的图块包含众多不同组件，如聚合与注意力，从而产生巨大的组合搜索空间。为应对这些问题，我们提出一种面向GNNs的概率对偶网络架构搜索（PDNAS）框架。PDNAS不仅优化单个图块内的操作（微架构），还考虑这些图块之间的连接方式（宏架构）。这种对偶架构（微架构与宏架构）优化使PDNAS能够在多样数据集上找到性能优于其他图NAS方法的更深GNNs。此外，我们采用全梯度搜索方法更新架构参数，使其成为首个可微图NAS方法。PDNAS优于现有手工设计的GNNs与NAS结果，例如在PPI数据集上，PDNAS在F1分数上分别超越最佳竞争对手1.67与0.17。
引用
@article{arxiv.2003.09676,
title = {Probabilistic Dual Network Architecture Search on Graphs},
author = {Yiren Zhao and Duo Wang and Xitong Gao and Robert Mullins and Pietro Lio and Mateja Jamnik},
journal= {arXiv preprint arXiv:2003.09676},
year = {2020}
}