CSL：面向包含未见类别分割的类不可知结构约束学习
计算机视觉与模式识别
2024-02-09 v2
摘要
处理分布外（OOD）分割和零样本语义分割（ZS3）具有挑战性，需要对未见类别进行分割。现有策略调整了针对特定任务定制的类不可知 Mask2Former（CA-M2F）。然而，这些方法仅适用于单一任务，需要从头开始训练，并且我们证明了 CA-M2F 中存在的某些缺陷会影响性能。我们提出了类不可知结构约束学习（CSL），这是一个可以与现有方法集成的插件框架，从而嵌入结构约束并实现性能提升，包括在未见类别上的提升，具体涵盖 OOD、ZS3 和领域自适应（DA）任务。CSL 有两种与现有方法集成的方案：（1）从基础教师网络中蒸馏知识，在训练和推理阶段强制实施约束；或（2）利用现有模型获取逐像素分布而无需重新训练，在推理阶段附加约束。我们提出了软分配和掩码拆分方法来增强 OOD 对象分割。实验评估表明，CSL 在提升跨越 OOD 分割、ZS3 和 DA 分割的现有算法性能方面表现出色，在所有三个任务上均持续超越了现有技术水平（SOTA）。
引用
@article{arxiv.2312.05538,
title = {CSL: Class-Agnostic Structure-Constrained Learning for Segmentation Including the Unseen},
author = {Hao Zhang and Fang Li and Lu Qi and Ming-Hsuan Yang and Narendra Ahuja},
journal= {arXiv preprint arXiv:2312.05538},
year = {2024}
}
备注
Accepted by AAAI 2024