利用先验知识的小样本类增量学习
机器学习
2024-02-05 v1 人工智能
摘要
为了解决小样本类增量学习(FSCIL)中的灾难性遗忘和过拟合问题，以往的工作主要集中在增量阶段保留旧知识的记忆。在这些研究中，预训练模型在塑造增量学习有效性方面的作用常常被低估。因此，为了增强预训练模型的泛化能力，我们提出了利用先验知识学习(LwPK)，通过引入来自后续增量类别的少量未标记数据的近乎免费的先验知识。我们对未标记的增量类样本进行聚类以生成伪标签，然后将这些伪标签与标记的基础类样本联合训练，从而为旧类和新类数据有效分配嵌入空间。实验结果表明，LwPK有效增强了模型对灾难性遗忘的抵抗力，基于经验风险最小化和类距离测量的理论分析也证实了其工作原理。LwPK的源代码公开在：\url{https://github.com/StevenJ308/LwPK}。
引用
@article{arxiv.2402.01201,
title = {Few-Shot Class-Incremental Learning with Prior Knowledge},
author = {Wenhao Jiang and Duo Li and Menghan Hu and Guangtao Zhai and Xiaokang Yang and Xiao-Ping Zhang},
journal= {arXiv preprint arXiv:2402.01201},
year = {2024}
}