DOTIN：为图神经网络丢弃任务无关节点
机器学习
2022-04-29 v1
摘要
可扩展性是基于深度图神经网络的模型的重要考量。受卷积神经网络中传统池化层的启发，许多近期图学习方法引入了池化策略以缩减图规模用于学习，从而提升可扩展性与效率。然而，这些基于池化的方法主要面向单一图级任务，且更关注局部信息，限制了它们在多任务设定下的表现，而多任务往往需要具备任务特定的全局信息。本文有别于这些基于池化的工作，设计了一种称为 DOTIN（Dropping Task-Irrelevant Nodes，丢弃任务无关节点）的新方法来缩减图规模。具体而言，通过引入 个可学习的虚拟节点分别表征面向 个不同图级任务的图嵌入，借助注意力模型（本文中为 transformer）可自适应丢弃多达 90% 注意力较低的原始节点而不出现明显性能下降。在 D&D 数据集上，我们的方法在图分类与图编辑距离（GED）等图级任务上以约 60% 更少的内存将 GAT 提速约 50%，且取得几乎相同的精度。代码将公开于 https://github.com/Sherrylone/DOTIN。
引用
@article{arxiv.2204.13429,
title = {DOTIN: Dropping Task-Irrelevant Nodes for GNNs},
author = {Shaofeng Zhang and Feng Zhu and Junchi Yan and Rui Zhao and Xiaokang Yang},
journal= {arXiv preprint arXiv:2204.13429},
year = {2022}
}