基于自适应分类准则缓解任务增量持续学习中的灾难性遗忘
机器学习
2023-05-23 v1
摘要
任务增量持续学习指按顺序在一系列任务上持续训练模型，同时克服灾难性遗忘（CF）问题。该问题源于所学表征因学习新任务而被遗忘，且决策边界遭到破坏。以往研究多关注如何恢复已学任务的表征，很少考虑为新表征自适应调整决策边界；本文提出一种带自适应分类准则的监督对比学习持续学习框架（SCCL）。在我们的方法中，使用对比损失直接学习不同任务的表征，并保存有限数量的数据样本作为分类准则。推理时，将保存的数据样本输入当前模型以获得更新后的表征，并使用 k 近邻模块进行分类。以此方式，可扩展模型能利用保存样本的自适应准则解决已学任务。为缓解 CF，我们进一步采用实例级关系蒸馏正则项与记忆回放模块以维护先前任务的信息。实验表明，SCCL 取得了最先进的性能，且相比分类基线具有更强的克服 CF 的能力。
引用
@article{arxiv.2305.12270,
title = {Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion},
author = {Yun Luo and Xiaotian Lin and Zhen Yang and Fandong Meng and Jie Zhou and Yue Zhang},
journal= {arXiv preprint arXiv:2305.12270},
year = {2023}
}