通过弹性响应蒸馏克服增量目标检测中的灾难性遗忘
计算机视觉与模式识别
2022-04-06 v1
摘要
传统目标检测器不擅长增量学习。然而，仅用新数据直接在训练良好的检测模型上微调会导致灾难性遗忘。知识蒸馏是缓解灾难性遗忘的灵活方法。在增量目标检测（IOD）中，已有工作主要关注对特征与响应组合的知识蒸馏，但欠探索响应中所含信息。本文提出一种基于响应的增量蒸馏方法，称为弹性响应蒸馏（ERD），其专注于从分类头与回归头中弹性学习响应。首先，我们的方法在使学生检测器具备增量学习中保留定位信息能力的同时迁移类别知识。此外，我们进一步评估所有位置的质量，并通过弹性响应选择（ERS）策略提供有价值响应。最后，我们阐明在增量蒸馏中来自不同响应的知识应被赋予不同重要性。在MS COCO上的大量实验表明我们的方法取得了最先进（SOTA）结果，大幅缩小了与全量训练的性能差距。
引用
@article{arxiv.2204.02136,
title = {Overcoming Catastrophic Forgetting in Incremental Object Detection via Elastic Response Distillation},
author = {Tao Feng and Mang Wang and Hangjie Yuan},
journal= {arXiv preprint arXiv:2204.02136},
year = {2022}
}
备注
Accepted by CVPR 2022. arXiv admin note: substantial text overlap with arXiv:2110.13471