持续学习：通过自适应对比性重放实现更少遗忘和更好的 OOD 泛化
机器学习
2024-10-10 v1 计算机视觉与模式识别
摘要
机器学习模型在学习新类别时，常会因灾难性遗忘而忘记先前学习的知识。已提出 various 方法来缓解此问题。然而，基于排练的学习（即保留先前类别的样本）通常能实现良好性能，但容易记忆特定实例，难以处理分布外（OOD）泛化。这常导致高遗忘率和较差泛化。令人惊讶的是，这些方法的 OOD 泛化能力研究得很少。本文指出了这一问题，并提出一种受对比学习和数据中心原则启发的简单而有效的策略。我们引入自适应对比性重放（ACR），一种方法利用双优化同时训练 encoder 和 classifier。ACR 通过自适应地从误分类样本中填充回放缓冲区，同时确保类别和任务的平衡表示。通过这种方式细化决策边界，ACR 实现了稳定性和灵活性之间的平衡。我们的方法在 OOD 泛化方面显著优于先前方法，在 Split CIFAR-100 上提升 13.41%，在 Split Mini-ImageNet 上提升 9.91%，在 Split Tiny-ImageNet 上提升 5.98%。
引用
@article{arxiv.2410.07110,
title = {Continual Learning: Less Forgetting, More OOD Generalization via Adaptive Contrastive Replay},
author = {Hossein Rezaei and Mohammad Sabokrou},
journal= {arXiv preprint arXiv:2410.07110},
year = {2024}
}