SAILS：基于递增学习语义的任务无关和训练-free 持续学习语义分割

持续学习仍受到多次重新训练、高计算成本以及遗忘问题的制约。这些因素显著限制了连续学习在实际场景中的应用，因为迭代模型更新需要耗费大量计算资源且会加剧遗忘现象。我们提出了 SAILS —— Segment Anything with Incrementally Learned Semantics，即 Segment Anything 语义分割的递增学习框架，实现 Class-Incremental Semantic Segmentation (CISS) 的训练-free 方案，完全规避了上述挑战。SAILS 利用基础模型将 CISS 解耦为两个阶段：使用 Segment Anything Model (SAM) 实现零-shot 区域提取，随后通过固定特征空间中的原型完成语义关联。SAILS 融入选择性类内聚类，每个类别生成多个原型以更好地建模类内变异性。我们的实验结果表明，尽管无需任何增量训练，SAILS 在标准 CISS 数据集上通常优于现有基于训练的方法，尤其在长时间且具有挑战性的任务序列中，遗忘现象最为严重。通过避免参数更新，SAILS 完全消除遗忘现象，保持一致且任务无关的性能。此外，SAILS 还表现出正向后向迁移，即引入新类别后可提升先前类别的性能。