面向增量语义分割的梯度-语义补偿
计算机视觉与模式识别
2023-07-21 v1
摘要
增量语义分割旨在持续学习新到来类别的分割,而无需访问已学类别的训练数据。然而,当前多数方法未能解决灾难性遗忘与背景偏移问题,因为它们 1) 同等对待所有先前类别而未考虑由不平衡梯度反向传播引起的不同遗忘速度;2) 缺乏类别间强语义引导。为应对上述挑战,本文提出梯度-语义补偿(GSC)模型,从梯度与语义两个视角克服增量语义分割的困难。具体地,为从梯度方面解决灾难性遗忘,我们开发了步感知梯度补偿,通过重新加权梯度反向传播来平衡已见类别的遗忘速度。同时,我们提出软-锐语义关系蒸馏,通过软标签蒸馏一致的类别间语义关系,从语义方面缓解灾难性遗忘。此外,我们开发了原型伪重标注,提供强语义引导以缓解背景偏移。该方法通过度量像素与各类原型间距离,为背景中的旧类别生成高质量伪标签。在 Pascal VOC 2012、ADE20K 和 Cityscapes 三个公开数据集上的大量实验证明了所提 GSC 模型的有效性。
引用
@article{arxiv.2307.10822,
title = {Gradient-Semantic Compensation for Incremental Semantic Segmentation},
author = {Wei Cong and Yang Cong and Jiahua Dong and Gan Sun and Henghui Ding},
journal= {arXiv preprint arXiv:2307.10822},
year = {2023}
}