基于动态查询的连续学习图像分割
计算机视觉与模式识别
2023-11-30 v1
摘要
基于连续学习的图像分割表现出严重的性能下降，主要由于灾难性遗忘和背景偏移，因为它们需要持续地融入新类别。本文提出一种简单而有效的带增量动态查询的连续图像分割方法（CISDQ），其通过轻量级查询嵌入解耦新旧知识的表征学习。CISDQ 主要包括三点贡献：1）我们定义具有自适应背景类的动态查询，以利用过往知识并自然地学习未来类别。2）CISDQ 提出一种类/实例感知的查询引导知识蒸馏策略，通过捕捉类间多样性和类内一致性来克服灾难性遗忘。3）除语义分割外，CISDQ 引入了面向实例分割的连续学习，其中考虑了实例级标注与监督。在三个数据集上针对两项任务（即连续语义与实例分割）开展的广泛实验表明，CISDQ 取得了最先进的性能，具体而言，在 ADE 100-10（6 步）设定与 ADE 100-5（11 步）设定下分别获得 4.4% 和 2.9% 的 mIoU 提升。
引用
@article{arxiv.2311.17450,
title = {Continual Learning for Image Segmentation with Dynamic Query},
author = {Weijia Wu and Yuzhong Zhao and Zhuang Li and Lianlei Shan and Hong Zhou and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2311.17450},
year = {2023}
}
备注
Code: https://github.com/weijiawu/CisDQ