基于特征的图注意力网络提升在线持续学习
计算机视觉与模式识别
2025-02-14 v1 机器学习
摘要
图像分类的在线持续学习对于模型适应新数据并保留先前学习任务的知识至关重要，这一能力对于应对动态环境和演变数据分布的现实挑战至关重要。传统方法主要采用卷积神经网络，这些网络受限于将图像处理为网格结构，主要捕获局部模式而非关系信息。虽然 transformer 架构的出现有助于捕获关系，但这些模型通常需要显著更大的资源。本文提出一种基于图注意力网络（GATs）的新型在线持续学习框架，有效捕获上下文关系并通过学习的注意力权重动态更新任务特定表示。我们的做法利用预训练特征提取器将图像转换为图，生成具有不同层次粒度信息的图层，然后由 GAT 处理，并纳入增强的全局池化策略以提高持续学习的分类性能。在此基础上，我们提出了一种重hearsal记忆复制技术，在保持记忆预算的同时提高对先前任务的表示。全面评估包括 SVHN、CIFAR10、CIFAR100 和 MiniImageNet 在内的基准数据集，表明我们的方法在多个基准上均优于当前最先进的方法。
引用
@article{arxiv.2502.09143,
title = {Feature-based Graph Attention Networks Improve Online Continual Learning},
author = {Adjovi Sim and Zhengkui Wang and Aik Beng Ng and Shalini De Mello and Simon See and Wonmin Byeon},
journal= {arXiv preprint arXiv:2502.09143},
year = {2025}
}
备注
16 pages