使用预训练模型的现实持续学习方法
机器学习
2024-04-12 v1 计算机视觉与模式识别
摘要
持续学习（CL）对于评估学习解决方案在保留知识方面的适应性至关重要。我们的研究解决了灾难性遗忘的挑战，即模型在学习新任务时会丧失对先前学习任务的熟练度。尽管已提出众多解决方案，但现有的实验设置通常依赖于理想化的类别增量学习场景。我们引入了现实持续学习（RealCL），这是一种新颖的CL范式，其中各任务的类别分布是随机的，从而脱离了结构化设置。我们还提出了CLARE（面向RealCL场景的基于预训练模型的持续学习方法），这是一种基于预训练模型的解决方案，旨在整合新知识的同时保留过去的学习成果。我们的贡献包括：开创性地将RealCL作为传统CL设置的泛化形式提出，提出CLARE作为适用于RealCL任务的自适应方法，并进行大量实验证明其在各种RealCL场景中的有效性。值得注意的是，CLARE在RealCL基准测试上优于现有模型，突显了其在不可预测学习环境中的多功能性和鲁棒性。
引用
@article{arxiv.2404.07729,
title = {Realistic Continual Learning Approach using Pre-trained Models},
author = {Nadia Nasri and Carlos Gutiérrez-Álvarez and Sergio Lafuente-Arroyo and Saturnino Maldonado-Bascón and Roberto J. López-Sastre},
journal= {arXiv preprint arXiv:2404.07729},
year = {2024}
}