面向语义分割中像素级分布外检测的残差模式学习
计算机视觉与模式识别
2023-08-22 v3
摘要
语义分割模型将像素分类为一组已知（“分布内”）视觉类别。当部署于开放世界时，这些模型的可靠性不仅取决于其分类分布内像素的能力，还取决于其检测分布外（OoD）像素的能力。历史上，这些模型较差的OoD检测性能促使了基于使用包含OoD视觉对象的合成训练图像进行模型重训练的方法的设计。尽管取得了成功，这些重训练方法存在两个问题：1）其分布内分割精度可能在重训练过程中下降；2）其OoD检测精度不能很好地泛化到训练集（如城市环境）之外的新场景（如乡村环境）。在本文中，我们通过以下方式缓解这些问题：（i）一个新的残差模式学习（RPL）模块，辅助分割模型检测OoD像素而不影响分布内像素分割性能；（ii）一种新颖的上下文鲁棒对比学习（CoroCL），强制RPL在各种场景中鲁棒地检测OoD像素。我们的方法在Fishyscapes、Segment-Me-If-You-Can和RoadAnomaly数据集上相较先前最先进方法在FPR上提升约10%、在AuPRC上提升约7%。我们的代码可在 https://github.com/yyliu01/RPL 获取。
引用
@article{arxiv.2211.14512,
title = {Residual Pattern Learning for Pixel-wise Out-of-Distribution Detection in Semantic Segmentation},
author = {Yuyuan Liu and Choubo Ding and Yu Tian and Guansong Pang and Vasileios Belagiannis and Ian Reid and Gustavo Carneiro},
journal= {arXiv preprint arXiv:2211.14512},
year = {2023}
}
备注
The paper contains 16 pages and it is accepted by ICCV'23