类增量学习中的解耦式分类器学习
机器学习
2023-02-24 v1
摘要
在持续学习中，模型需要在一连串任务上持续学习特征提取器和分类器。本文关注在持续学习设定下如何基于预训练的特征提取器学习一个分类器。我们给出一种概率分析，表明朴素经验回放（ER）的失败源于对先前任务不必要的重学习以及无法区分当前任务与以往任务，这正是知识退化和预测偏差的成因。为克服这些弱点，我们提出一种新颖的回放策略——任务感知经验回放。它通过重新平衡回放损失并将旧任务的分类器权重从更新过程中解耦，从而保持已有知识完好无损并缓解对情景记忆的过拟合。实验结果表明，我们的方法优于当前最先进的方法。
引用
@article{arxiv.2302.11730,
title = {Detachedly Learn a Classifier for Class-Incremental Learning},
author = {Ziheng Li and Shibo Jie and Zhi-Hong Deng},
journal= {arXiv preprint arXiv:2302.11730},
year = {2023}
}