增强可塑性以实现首次会话自适应持续学习
计算机视觉与模式识别
2025-07-10 v3 人工智能
摘要
将大型预训练模型（PTM）集成到类增量学习（CIL）中，促进了诸如首次会话自适应（FSA）等计算高效策略的发展，FSA仅在第一个任务上微调模型，而在后续任务中保持冻结。尽管在同质任务序列中有效，这些方法在面对真实世界任务分布的异质性时表现不佳。我们提出了类增量学习中的可塑性增强测试时自适应（PLASTIC），一种在保持模型稳定性的同时恢复CIL中可塑性的方法。PLASTIC利用测试时自适应（TTA），通过在无标签测试数据上动态微调LayerNorm参数，实现对演化任务的适应并提升对数据损坏的鲁棒性。为防止TTA引起的模型发散并维持跨任务的稳定学习，我们引入了教师-学生蒸馏框架，确保自适应受控且可泛化。在多个基准上的大量实验表明，PLASTIC持续优于传统的和基于PTM的SOTA CIL方法，同时还表现出对数据损坏的固有鲁棒性。代码见：https://github.com/IemProg/PLASTIC。
引用
@article{arxiv.2310.11482,
title = {Enhancing Plasticity for First Session Adaptation Continual Learning},
author = {Imad Eddine Marouf and Subhankar Roy and Stéphane Lathuilière and Enzo Tartaglione},
journal= {arXiv preprint arXiv:2310.11482},
year = {2025}
}
备注
Accepted at CoLLAs 2025, 9 pages, 4 figures