解耦式持续语义分割

持续语义分割 (CSS) 需要在不忘记以前学习知识的条件下学习新类别，解决密集预测任务中的灾难性遗忘的根本挑战。然而，现有的 CSS 方法通常采用单阶段编码器-解码器架构，其中分割掩码和类别标签紧密耦合，导致旧类和新类的学习之间产生干扰，导致保持-塑性平衡次优。我们引入 DecoupleCSS，一种 novel 的两阶段框架用于 CSS。通过将类感知检测与类非感知分割解耦，DecoupleCSS 实现了更有效的持续学习，既保留了过去的知识，又学习了新类别。第一阶段利用预训练的文本和图像编码器，通过 LoRA 进行适应，以编码类特定信息并生成 location-aware 提示。在第二阶段，采用 Segment Anything Model (SAM) 产生精确的分割掩码，确保分割知识在 new 和 previous 类之间共享。该方法改进了 CSS 中保持和适应性之间的平衡，实现了在各种具有挑战性的任务上的最先进性能。我们的代码已公开：https://github.com/euyis1019/Decoupling-Continual-Semantic-Segmentation。