在图神经网络中学习逐层连接
机器学习
2021-12-28 v1 人工智能
摘要
近年来，图神经网络 (GNNs) 在真实世界数据集的多种应用上展现出优越性能。为提升模型容量并缓解过平滑问题，若干方法提出通过逐层连接来融合中间层。然而，由于图类型高度多样，现有方法在不同图上的性能表现各异，从而需要数据特定的逐层连接方法。为解决该问题，我们提出一种基于神经架构搜索 (NAS) 的新框架 LLC (Learn Layer-wise Connections，学习逐层连接)，以学习 GNN 中中间层间的自适应连接。LLC 包含一个由 3 类块与可学习连接构成的新型搜索空间，以及一种可实现高效搜索过程的可微搜索算法。我们在五个真实世界数据集上进行了大量实验，结果表明所搜索的逐层连接不仅能提升性能，还可缓解过平滑问题。
引用
@article{arxiv.2112.13585,
title = {Learn Layer-wise Connections in Graph Neural Networks},
author = {Lanning Wei and Huan Zhao and Zhiqiang He},
journal= {arXiv preprint arXiv:2112.13585},
year = {2021}
}