深层图注意力网络
机器学习
2024-10-22 v1
摘要
图对于表示各种真实世界对象非常有用。然而，图神经网络(GNNs)倾向于出现过平滑问题，即随着层数的增加，不同类别节点的表示变得相似，从而导致性能下降。需要一种不需长时间调节层数即可有效构建图注意力网络(GAT)的方法。因此，我们引入一种名为DeepGAT的方法，用于预测节点所属的类别。在GAT中通过确保不同类别的节点在每一层保持不相似来避免过平滑。使用DeepGAT进行类别预测，可以构建15层的网络，而无需调节层数。DeepGAT防止了过平滑，实现了类似于2层GAT的15层GAT性能，如下所示注意力系数的相似性。DeepGAT使得能够训练大型网络以获得与少数层数相似的注意力系数。它避免了过平滑问题，无需调节层数，从而节省时间并提高GNN的性能。
引用
@article{arxiv.2410.15640,
title = {Deep Graph Attention Networks},
author = {Jun Kato and Airi Mita and Keita Gobara and Akihiro Inokuchi},
journal= {arXiv preprint arXiv:2410.15640},
year = {2024}
}
备注
8 pages, 6 figures