泛化还是检测？面向多重分布偏移下的鲁棒语义分割
计算机视觉与模式识别
2024-11-07 v1
摘要
在开放世界场景中，新型类别和领域可能同时存在，理想的分割模型应能检测异常类别以确保安全，并能泛化到新领域。然而，现有方法往往难以区分领域级和语义级的分布偏移，导致分布外（OOD）检测或领域泛化性能不佳。本研究旨在使模型能够有效泛化到协变量偏移区域，同时精确识别语义偏移区域。为此，我们设计了一种新颖的生成增强方法，用于生成包含异常（或新型）对象以及图像和对象层面各种协变量偏移的一致图像。此外，我们引入了一种训练策略，专门针对语义偏移重新校准不确定性，并增强特征提取器以对齐与领域偏移相关的特征。我们在同时包含语义偏移和领域偏移的基准数据集上验证了方法的有效性。我们的方法在所有基准数据集上均取得了最先进的OOD检测和领域泛化性能。代码可在 https://github.com/gaozhitong/MultiShiftSeg 获取。
引用
@article{arxiv.2411.03829,
title = {Generalize or Detect? Towards Robust Semantic Segmentation Under Multiple Distribution Shifts},
author = {Zhitong Gao and Bingnan Li and Mathieu Salzmann and Xuming He},
journal= {arXiv preprint arXiv:2411.03829},
year = {2024}
}
备注
Published in NeurIPS 2024