MEGA：用于GFSCIL中灾难性遗忘缓解的二阶梯度对齐
机器学习
2025-08-21 v3
摘要
图型少样本类别增量学习 (GFSCIL) 使模型能够在初始训练于大型基数据集后，从有限的新任务样本中持续学习。现有的GFSCIL方法通常利用原型网络 (PN) 进行基于度量的类表示，并在增量学习阶段对模型进行微调。然而，这些基于PN的方法简化了学习过程，未能由于架构限制整合图型持续学习 (GCL) 技术。为解决这些挑战，我们提出了更严谨且更实用的GFSCIL设置，排除增量训练阶段的查询集。建立在此基础上，我们引入模型无关的元图型持续学习 (MEGA)，旨在有效缓解GFSCIL中的灾难性遗忘。具体而言，通过计算元训练阶段的增量二阶梯度，我们使模型能够学习高质量的先验知识，通过在元训练和增量学习阶段对齐其行为来增强增量学习。在四个主流图数据集上的大量实验表明，MEGA取得了最先进的成果，并提高了各种GCL方法在GFSCIL中的效果。我们认为，提出的MEGA作为一种模型无关的GFSCIL范式，为未来研究指明了道路。
引用
@article{arxiv.2504.13691,
title = {MEGA: Second-Order Gradient Alignment for Catastrophic Forgetting Mitigation in GFSCIL},
author = {Jinhui Pang and Changqing Lin and Hao Lin and Zhihui Zhang and Weiping Ding and Yu Liu and Xiaoshuai Hao},
journal= {arXiv preprint arXiv:2504.13691},
year = {2025}
}
备注
Under Review