迈向可塑且稳定的无样例增量学习：一种带累积参数平均的双学习器框架
计算机视觉与模式识别
2024-03-20 v3
摘要
可塑性与稳定性之间的两难困境是增量学习（IL）中的重大挑战，尤其在无样例场景下——学习新任务时严格禁止访问旧任务样本。该问题的一个直接解决方案是为每个任务学习并存储独立模型，即单任务学习（STL）。尽管 STL 的模型存储在任务数增加时线性增长，我们经验性地发现对这些模型参数取平均有可能保留所有任务的知识。受此观察启发，我们提出一种带累积参数平均的双学习器框架（DLCPA）。DLCPA 采用双学习器设计：一个专注于获取新任务知识的可塑学习器，以及一个负责累积所有已学知识的稳定学习器。可塑学习器的知识通过累积参数平均迁移至稳定学习器。此外，若干任务特定分类器与稳定学习器协作给出最终预测。具体而言，在学习新任务时，这些模块以循环方式更新：i) 可塑学习器最初除监督损失外还使用自监督损失进行优化，以增强特征提取鲁棒性；ii) 稳定学习器随后以累积参数平均方式依据可塑学习器更新，以维持其任务泛化能力；iii) 任务特定分类器相应优化以与稳定学习器对齐。在 CIFAR-100 和 Tiny-ImageNet 上的实验结果表明，DLCPA 在 Task-IL 与 Class-IL 设定下均优于多个最先进的无样例基线。
引用
@article{arxiv.2310.18639,
title = {Towards Plastic and Stable Exemplar-Free Incremental Learning: A Dual-Learner Framework with Cumulative Parameter Averaging},
author = {Wenju Sun and Qingyong Li and Wen Wang and Yangli-ao Geng},
journal= {arXiv preprint arXiv:2310.18639},
year = {2024}
}