三值特征掩码：任务增量学习中的零遗忘
计算机视觉与模式识别
2021-04-22 v2
摘要
我们提出了一种针对任务感知机制（推理时已知任务标签）的持续学习中无任何遗忘的方法。通过使用三值掩码，我们可以将模型升级到新任务，复用先前任务的知识同时不遗忘关于它们的任何内容。使用掩码可防止灾难性遗忘和反向迁移。我们论证并实验表明，避免前者在很大程度上补偿了后者的缺失，而后者在实践中很少被观察到。与早期工作不同，我们的掩码应用于每一层的特征（激活）而非权重。这极大减少了每个新任务的掩码参数数量；对大多数网络而言减少超过三个数量级。将三值掩码以每特征两位编码对网络产生的开销极小，避免了可扩展性问题。为使已学特征能适应当前任务而不改变其对先前任务的行为，我们引入了任务特定的特征归一化。在多个细粒度数据集和 ImageNet 上的大量实验表明，与基于权重的方法相比，我们的方法在减少内存开销的同时优于当前最先进水平。
引用
@article{arxiv.2001.08714,
title = {Ternary Feature Masks: zero-forgetting for task-incremental learning},
author = {Marc Masana and Tinne Tuytelaars and Joost van de Weijer},
journal= {arXiv preprint arXiv:2001.08714},
year = {2021}
}
备注
To appear in the IEEE Conference on Computer Vision and Pattern Recognition Workshop (CVPR-W) on Continual Learning in Computer Vision (CLVision) 2021