类增量学习中数据因果效应的蒸馏
人工智能
2021-03-09 v3
摘要
我们提出一个因果框架来解释类增量学习（CIL）中的灾难性遗忘，并由此推导出一种新的蒸馏方法，该方法与现有的抗遗忘技术（如数据回放和特征/标签蒸馏）正交。我们首先1）将CIL置于该框架中，2）回答为何发生遗忘：旧数据的因果效应在新训练中丢失，然后3）解释现有技术如何缓解它：它们将因果效应带回。基于该框架，我们发现尽管特征/标签蒸馏存储高效，但其因果效应与端到端特征学习优势不一致，而后者由数据回放所保留。为此，我们提出蒸馏旧数据与新数据之间的碰撞效应，其根本上等价于数据回放的因果效应，但无任何回放存储成本。得益于因果效应分析，我们可进一步捕捉数据流的增量动量效应，去除它有助于保留被新数据效应淹没的旧效应，从而缓解测试中旧类的遗忘。在三个CIL基准：CIFAR-100、ImageNet-Sub&Full上的大量实验表明，所提出的因果效应蒸馏能以较大幅度（0.72%--9.06%）改进多种最先进的CIL方法。
引用
@article{arxiv.2103.01737,
title = {Distilling Causal Effect of Data in Class-Incremental Learning},
author = {Xinting Hu and Kaihua Tang and Chunyan Miao and Xian-Sheng Hua and Hanwang Zhang},
journal= {arXiv preprint arXiv:2103.01737},
year = {2021}
}