用于少样本学习的注意力图神经网络
机器学习
2020-10-05 v2 机器学习
摘要
图神经网络（GNN）在许多具有挑战性的应用中展现了优越性能，包括少样本学习任务。尽管 GNN 具有从少量样本中学习并泛化模型的强大能力，但随着模型加深，通常遭受严重的过拟合与过平滑，限制了可扩展性。本文中，我们提出一种新颖的注意力 GNN 以应对这些挑战，其融合了三重注意力机制，即节点自注意力、邻域注意力与层记忆注意力。我们通过理论分析与图示解释了所提注意力模块为何能改进少样本学习中的 GNN。大量实验表明，在 mini-ImageNet 与 tiered-ImageNet 基准上，于 ConvNet-4 与基于 ResNet 的主干下采用归纳与转导设置，相较最先进的基于 GNN 与 CNN 的少样本学习方法，所提注意力 GNN 模型取得了有前景的结果。代码将公开可用。
引用
@article{arxiv.2007.06878,
title = {Attentive Graph Neural Networks for Few-Shot Learning},
author = {Hao Cheng and Joey Tianyi Zhou and Wee Peng Tay and Bihan Wen},
journal= {arXiv preprint arXiv:2007.06878},
year = {2020}
}