面向类增量语义分割的自适应原型回放
计算机视觉与模式识别
2024-12-18 v1
摘要
类增量语义分割（CISS）旨在持续学习步骤中分割新类别，同时防止遗忘旧知识。现有方法通过使用存储的原型或特征回放先前学习类别的分布来缓解灾难性遗忘。然而，它们忽略了一个关键问题：在 CISS 中，类别知识的表示通过增量学习不断更新，而原型回放方法却维持固定的原型。这种更新后的表示与固定原型之间的不匹配限制了原型回放策略的有效性。为了解决这个问题，本文提出了用于 CISS 的自适应原型回放（Adapter）。Adapter 包含自适应偏差补偿（ADC）策略和不确定性感知约束（UAC）损失。具体而言，ADC 策略根据估计的表示偏移距离动态更新存储的原型，以匹配旧类别的更新表示。UAC 损失减少了预测不确定性，聚合判别性特征以辅助生成紧凑的原型。此外，我们引入了基于补偿的原型相似性判别（CPD）损失，以确保相似原型之间的充分区分，从而增强自适应原型回放策略的效率。在 Pascal VOC 和 ADE20K 数据集上的大量实验表明，Adapter 取得了 state-of-the-art 的结果，并在各种 CISS 任务中证明了其有效性，特别是在具有挑战性的多步骤场景中。代码和模型可在 https://github.com/zhu-gl-ux/Adapter 获取。
引用
@article{arxiv.2412.12669,
title = {Adaptive Prototype Replay for Class Incremental Semantic Segmentation},
author = {Guilin Zhu and Dongyue Wu and Changxin Gao and Runmin Wang and Weidong Yang and Nong Sang},
journal= {arXiv preprint arXiv:2412.12669},
year = {2024}
}
备注
Accepted by the Main Technical Track of the 39th Annual AAAI Conference on Artificial Intelligence (AAAI-2025)