通过硬注意力与通道注意力网络进行图表示学习

注意力算子已广泛应用于计算机视觉、自然语言处理和网络嵌入学习等多个领域。图数据上的注意力算子在聚合来自邻居节点的信息时支持可学习的权重。然而，图注意力算子（GAO）消耗过多计算资源，阻碍其在大规模图上的应用。此外，GAO 属于软注意力而非硬注意力家族，而后者已被证明能带来更好性能。本工作中，我们提出新颖的硬图注意力算子（hGAO）与通道图注意力算子（cGAO）。hGAO 通过仅关注重要节点来使用硬注意力机制。与 GAO 相比，hGAO 仅关注重要节点，从而提升性能并节省计算成本。为进一步降低对计算资源的需求，我们提出沿通道执行注意力操作的 cGAO。cGAO 避免对邻接矩阵的依赖，从而大幅降低计算资源需求。实验结果表明，我们提出的带有新算子的深度模型始终取得更优性能。对比结果还表明，在节点与图嵌入任务上 hGAO 均显著优于 GAO。效率对比显示，我们的 cGAO 带来计算资源的大幅节省，使其可应用于大规模图。