SS-IL：用于增量学习的分离式Softmax
计算机视觉与模式识别
2022-06-22 v3
摘要
我们考虑类增量学习（CIL）问题，其中学习智能体从增量到达的训练数据批次中持续学习新类，并旨在对迄今已学习的所有类进行良好预测。该问题的主要挑战是灾难性遗忘，而对于基于范例内存的CIL方法，通常认为遗忘是由新类与旧类（在范例内存中）之间数据不平衡所引入的分类分数偏置所致。尽管已有若干方法通过一些额外的后处理（如分数重缩放或平衡微调）来纠正此类分数偏置，但尚无对偏置根本原因的系统性分析。为此，我们分析得出，将全部旧类与新类的输出分数合并计算softmax概率可能是该偏置的主因。进而，我们提出一种新方法，称为用于增量学习的分离式Softmax（SS-IL），其由分离式softmax（SS）输出层结合任务式知识蒸馏（TKD）组成，以解决此类偏置。通过在多个大规模CIL基准数据集上的大量实验结果，我们表明我们的SS-IL在不使用任何额外后处理的情况下，通过对旧类与新类取得更平衡的预测分数，实现了强劲的SOTA精度。
引用
@article{arxiv.2003.13947,
title = {SS-IL: Separated Softmax for Incremental Learning},
author = {Hongjoon Ahn and Jihwan Kwak and Subin Lim and Hyeonsu Bang and Hyojun Kim and Taesup Moon},
journal= {arXiv preprint arXiv:2003.13947},
year = {2022}
}