PODNet：用于小任务增量学习的池化输出蒸馏
计算机视觉与模式识别
2020-10-07 v3
摘要
终身学习中已受到广泛关注，但现有工作仍难以对抗灾难性遗忘并在长程增量学习中积累知识。本工作中，我们提出受表示学习启发的模型 PODNet。通过仔细平衡记住旧类与学习新类之间的折衷，PODNet 能够对抗灾难性遗忘，即便在非常长的小增量任务序列中——这一设定迄今未被现有工作探索。PODNet 凭借应用于整个模型的高效基于空间的蒸馏损失、以及为每个类包含多个代理向量的表示，对现有方法进行了创新。我们充分验证了这些创新，在三个数据集 CIFAR100、ImageNet100 和 ImageNet1000 上将 PODNet 与三种 SOTA 模型进行比较。我们的结果显示了 PODNet 相较现有方法的显著优势，准确率分别提升 12.10、6.51 和 2.85 个百分点。代码见 https://github.com/arthurdouillard/incremental_learning.pytorch
引用
@article{arxiv.2004.13513,
title = {PODNet: Pooled Outputs Distillation for Small-Tasks Incremental Learning},
author = {Arthur Douillard and Matthieu Cord and Charles Ollion and Thomas Robert and Eduardo Valle},
journal= {arXiv preprint arXiv:2004.13513},
year = {2020}
}
备注
Accepted at ECCV 2020