Auto-GNN：图神经网络的神经架构搜索
机器学习
2019-09-11 v2 机器学习
摘要
图神经网络（GNN）已成功应用于处理图结构数据。在给定特定场景下，通常需要丰富的人类专业知识和大量的费力试错来确定合适的 GNN 架构。这是因为 GNN 架构的性能显著受到图卷积组件选择的影响，例如聚合函数和隐藏维度。神经架构搜索（NAS）已在图像和语言建模的学习任务中展现出发现有效深层架构的潜力。然而，现有的 NAS 算法不能直接应用于 GNN 搜索问题。首先，GNN 的搜索空间不同于现有 NAS 工作中的搜索空间。其次，GNN 架构的表示学习能力会随着架构的微小修改而发生明显变化。这影响了传统搜索方法的搜索效率。第三，NAS 中广泛使用的技术（如参数共享）在 GNN 中可能变得不稳定。为了弥合这一差距，我们提出了自动图神经网络（AGNN）框架，旨在预定义的搜索空间内找到最优的 GNN 架构。设计了一个基于强化学习的控制器，通过小步长贪婪地验证架构。AGNN 具有一种新颖的参数共享策略，基于精心设计的同质性定义，使得同质架构能够共享参数。在真实世界基准数据集上的实验表明，与现有手工设计的模型和传统搜索方法相比，AGNN 找到的 GNN 架构取得了最佳性能。
引用
@article{arxiv.1909.03184,
title = {Auto-GNN: Neural Architecture Search of Graph Neural Networks},
author = {Kaixiong Zhou and Qingquan Song and Xiao Huang and Xia Hu},
journal= {arXiv preprint arXiv:1909.03184},
year = {2019}
}