Auto-HeG:异配图上的自动化图神经网络
机器学习
2023-02-27 v1 社会与信息网络
摘要
图神经架构搜索(NAS)在自动设计强大的图神经网络(GNN)方面已获得广泛关注,减轻了人力负担。然而,现有图NAS方法主要在同配假设下工作,忽视了另一重要图属性,即异配性,其广泛存在于各种真实应用中。迄今为止,利用NAS的自动化异配图学习仍是一个待填补的研究空白。由于异配图的复杂性与多样性,异配图NAS的关键挑战主要在于开发异配特定的搜索空间与策略。因此,本文提出一种新颖的异配图自动化图神经网络,即Auto-HeG,以自动构建具有强表达学习能力的异配GNN模型。具体而言,Auto-HeG将异配性纳入自动化异配图学习的各个阶段,包括搜索空间设计、超网训练和架构选择。通过具有微观与宏观联合设计的多样化消息传递方案,我们首先构建全面的异配GNN搜索空间,使Auto-HeG能整合图复杂多样的异配性。借助渐进式超网训练策略,我们根据异配性的逐层变化动态收缩初始搜索空间,从而得到紧凑高效的超网。以异配感知距离准则为指导,我们以留一模式进行异配架构选择,从而导出专门化且具表达力的异配GNN架构。大量实验表明,Auto-HeG在开发优于人工设计模型和图NAS模型的异配GNN方面具有优越性。
引用
@article{arxiv.2302.12357,
title = {Auto-HeG: Automated Graph Neural Network on Heterophilic Graphs},
author = {Xin Zheng and Miao Zhang and Chunyang Chen and Qin Zhang and Chuan Zhou and Shirui Pan},
journal= {arXiv preprint arXiv:2302.12357},
year = {2023}
}
备注
Accepted by Proceedings of the ACM Web Conference 2023 (WWW '23)