BACS：背景感知的持续语义分割

语义分割在为机器人系统实现全面的场景理解方面发挥着关键作用。然而，生成标注极具挑战性，需要为图像中的每个像素提供标签。在自动驾驶等场景中，随着部署智能体的运行环境变得更加复杂，需要逐步引入新类别。为了提高标注效率，理想情况下只需标注属于新类别的像素。这种方法被称为持续语义分割（CSS）。除了持续学习设置中常见的经典灾难性遗忘问题外，CSS还受到背景固有模糊性的困扰，我们将这种现象称为“背景偏移”，因为标记为背景的像素可能对应于未来的类别（前向背景偏移）或过去的类别（后向背景偏移）。结果，持续学习方法往往会失败。本文提出了一种后向背景偏移检测器（BACS），基于先前步骤的前景质心在潜在空间中的距离来检测先前观察到的类别。此外，我们提出了交叉熵损失函数的修改版本，结合BACS检测器来降低与先前观察到的类别相关的背景像素的权重。为了对抗灾难性遗忘，我们采用了掩码特征蒸馏以及暗经验回放。此外，我们的方法包括一个能够适应新类别的transformer解码器，而无需额外的分类头。我们在标准CSS基准上验证了BACS相对于现有最先进方法的优越性能。