GraTO：利用神经架构搜索解决过平滑问题的图神经网络框架
机器学习
2022-10-25 v2
摘要
当前的图神经网络（GNNs）存在过平滑问题，导致节点表示不可区分且随着 GNN 层数增加模型性能下降。近年来已提出许多方法来解决该问题。然而，现有应对过平滑的方法强调模型性能而忽视了节点表示的过平滑程度。此外，不同方法一次仅单独应用，缺乏一个整体框架来联合利用多种解决过平滑挑战的方案。为解决这些问题，我们提出 GraTO，一种基于神经架构搜索自动搜索 GNN 架构的框架。GraTO 采用一种新颖的损失函数，以促进在模型性能与表示平滑度之间取得平衡。除现有方法外，我们的搜索空间还包含 DropAttribute——一种缓解过平滑挑战的新颖方案，以充分利用多样化解决方案。我们在六个真实世界数据集上进行了大量实验来评估 GraTO，结果表明 GraTO 在过平滑指标上优于基线，并在准确率上取得有竞争力的性能。GraTO 在 GNN 层数增加时尤其有效且鲁棒。进一步实验证实了 GraTO 所学节点表示的质量以及模型架构的有效性。我们在 Github（\url{https://github.com/fxsxjtu/GraTO}）上公开了 GraTO 的代码。
引用
@article{arxiv.2208.09027,
title = {GraTO: Graph Neural Network Framework Tackling Over-smoothing with Neural Architecture Search},
author = {Xinshun Feng and Herun Wan and Shangbin Feng and Hongrui Wang and Jun Zhou and Qinghua Zheng and Minnan Luo},
journal= {arXiv preprint arXiv:2208.09027},
year = {2022}
}
备注
accepted at CIKM2022