面向少样本类增量学习的基于记忆的标签文本调优
计算机视觉与模式识别
2022-07-05 v1
摘要
少样本类增量学习（FSCIL）致力于设计能够从少量样本持续学习一系列新任务且不遗忘旧任务的学习算法。其难点在于，基于新任务有限数据序列的训练会导致严重的过拟合问题，并引发众所周知的灾难性遗忘问题。现有研究主要利用图像信息，如存储先前任务的图像知识或限制分类器更新。然而，它们忽略了对类标签中信息丰富且噪声较少的文本信息的分析。本工作中，我们提出通过采用记忆提示来利用标签文本信息。该记忆提示可顺序学习新数据，同时存储先前知识。此外，为在不破坏已存储知识的前提下优化记忆提示，我们提出了一种基于刺激的训练策略。它依据图像嵌入刺激（即图像嵌入元素的分布）来优化记忆提示。实验表明，我们提出的方法优于所有先前的 state-of-the-art 方法，显著缓解了灾难性遗忘与过拟合问题。
引用
@article{arxiv.2207.01036,
title = {Memory-Based Label-Text Tuning for Few-Shot Class-Incremental Learning},
author = {Jinze Li and Yan Bai and Yihang Lou and Xiongkun Linghu and Jianzhong He and Shaoyun Xu and Tao Bai},
journal= {arXiv preprint arXiv:2207.01036},
year = {2022}
}