基于掩码保持属性编辑的分割模型基准测试

在实际部署分割模型时，评估其在多样化和复杂场景中的行为至关重要。不同于以往仅考虑全局属性变化（如恶劣天气）的评估范式，我们同时调查了局部和全局属性变化以进行鲁棒性评估。为此，我们构建了一个掩码保持属性编辑流程，能够在精确控制结构信息的同时编辑真实图像的视觉属性。因此，原始分割标签可复用于编辑后的图像。利用我们的流程，我们构建了一个涵盖物体和图像属性（如颜色、材质、图案、风格）的基准测试。我们评估了各种语义分割模型，从传统的闭集模型到最近的开放词汇大模型，考察它们对不同变化类型的鲁棒性。我们发现，局部和全局属性变化均会影响分割性能，且模型对不同变化类型的敏感度存在差异。我们认为，局部属性与全局属性具有同等重要性，应在分割模型的鲁棒性评估中予以考虑。代码：https://github.com/PRIS-CV/Pascal-EA。