解构双阶段增量目标检测中的灾难性遗忘
计算机视觉与模式识别
2025-05-30 v3
摘要
灾难性遗忘是增量目标检测（IOD）的关键挑战。大多数现有方法单片式地处理检测器，依赖实例回放或知识蒸馏，而不分析特定组件的遗忘。通过解剖Faster R-CNN，我们揭示了一个关键见解：灾难性遗忘主要局限于RoI Head分类器，而回归器在增量阶段保持鲁健性。这一发现挑战了常规假设，促使我们开发称为NSGP-RePRE的框架。区域原型回放（RePRE）通过回放两种类型的原型来缓解分类器遗忘：粗粒度原型代表RoI特征的类别语义中心，而细粒度原型建模类别内部变异。进一步引入空位梯度投影（NSGP），通过梯度投影更新特征提取器，以正交于旧输入子空间的方向，以消除原型-特征错位，使RePRE与增量学习动力学相吻合。我们的简单而有效的设计使NSGP-RePRE在各种设置下均在Pascal VOC和MS COCO数据集上实现最先进的性能。我们的工作不仅推进了IOD方法论，也为缓解IOD中的灾难性遗忘提供了关键见解。代码可在\href{https://github.com/fanrena/NSGP-RePRE}{https://github.com/fanrena/NSGP-RePRE}获取。
引用
@article{arxiv.2502.05540,
title = {Demystifying Catastrophic Forgetting in Two-Stage Incremental Object Detector},
author = {Qirui Wu and Shizhou Zhang and De Cheng and Yinghui Xing and Di Xu and Peng Wang and Yanning Zhang},
journal= {arXiv preprint arXiv:2502.05540},
year = {2025}
}
备注
Accepted in ICML2025