基于校正的持续学习知识保留方法
计算机视觉与模式识别
2021-04-01 v1
摘要
深度学习模型在增量学习设置下训练时会遭受灾难性遗忘。本文中，我们提出一种新方法来解决任务增量学习问题，即按顺序在新到达的任务上训练模型。当测试集包含不属于训练集的类别时，即任务增量广义零样本学习问题，任务增量学习变得更加困难。我们的方法可用于零样本和非零样本任务增量学习两种设置。我们提出的方法使用权重校正和仿射变换，以使模型适应顺序到达的不同任务。具体而言，我们通过“校正”从先前任务学到的权重，使网络权重适用于新任务。我们用极少的参数学习这些权重校正。此外，我们对网络生成的输出学习仿射变换，以更好地使其适应新任务。我们在多个数据集上于零样本和非零样本任务增量学习设置下进行了实验，并从经验上表明我们的方法取得了最先进的结果。具体而言，我们的方法在 CIFAR-100 数据集上比最先进的非零样本任务增量学习方法高出超过 5%。我们的方法在 AWA1 和 CUB 数据集上分别比最先进的任务增量广义零样本学习方法绝对高出 6.91% 和 6.33%。我们通过多种消融研究验证了我们的方法。
引用
@article{arxiv.2103.16597,
title = {Rectification-based Knowledge Retention for Continual Learning},
author = {Pravendra Singh and Pratik Mazumder and Piyush Rai and Vinay P. Namboodiri},
journal= {arXiv preprint arXiv:2103.16597},
year = {2021}
}
备注
Accepted in CVPR 2021