DiffusePast：基于扩散的生成式回放用于类增量语义分割
计算机视觉与模式识别
2023-08-03 v1
摘要
类增量语义分割（CISS）通过增量学习新添加的类来扩展传统的分割任务。先前的工作引入了生成式回放，即回放由预训练 GAN 生成的旧类样本，以解决灾难性遗忘与隐私问题。然而，生成的图像缺乏语义精确性并表现出分布外特征，导致掩码不准确，进一步降低分割性能。为应对这些挑战，我们提出 DiffusePast，一种新颖的框架，其具有基于扩散的生成式回放模块，该模块在不同指令（例如文本提示或边缘图）引导下生成语义准确且掩码更可靠的图像。具体而言，DiffusePast 引入双生成器范式，专注于生成与下游数据集分布对齐同时保留原始图像结构与布局的旧类图像，从而实现更精确的掩码。为持续适应新添加类的新颖视觉概念，我们在更新双生成器时融入类级 token 嵌入。此外，我们将新步骤图像中背景像素的旧类充分伪标签化，进一步缓解对已学知识的遗忘。通过综合实验，我们的方法在主流基准上展现出有竞争力的性能，在旧类与新类性能间取得更好平衡。
引用
@article{arxiv.2308.01127,
title = {DiffusePast: Diffusion-based Generative Replay for Class Incremental Semantic Segmentation},
author = {Jingfan Chen and Yuxi Wang and Pengfei Wang and Xiao Chen and Zhaoxiang Zhang and Zhen Lei and Qing Li},
journal= {arXiv preprint arXiv:2308.01127},
year = {2023}
}
备注
e.g.: 13 pages, 7 figures