全景分布外分割
计算机视觉与模式识别
2025-12-12 v3 机器人学
图像与视频处理
摘要
全景成像能够捕获具有超宽视场（FoV）的 360° 图像，以实现密集的全向感知，这对自动驾驶和增强现实等应用至关重要。然而，当前的全景语义分割方法无法识别异常值，而针孔分布外分割（OoS）模型由于像素畸变和背景杂乱，在全景域中表现不佳。为了解决这些问题，我们引入了一项新任务——全景分布外分割（PanOoS），旨在实现全面且安全的场景理解。此外，我们提出了首个解决方案 POS，它通过文本引导的提示分布学习来适应全景图像的特性。具体而言，POS 集成了一个解耦策略，旨在实现 CLIP 的跨域泛化能力。所提出的基于提示的恢复注意力（PRA）通过提示引导和自适应校正来优化语义解码，而双层提示分布学习（BPDL）则通过语义原型监督来细化逐像素掩码嵌入的流形。此外，为了弥补 PanOoS 数据集的稀缺性，我们建立了两个基准：DenseOoS，其特点是在复杂环境中包含多样化的异常值；以及 QuadOoS，由配备全景环形透镜系统的四足机器人捕获。大量实验证明了 POS 的优越性能，在 DenseOoS 上，AuPRC 提高了 34.25%，FPR95 降低了 21.42%，优于最先进的针孔 OoS 方法。此外，POS 实现了领先的闭集分割能力，并推动了全景理解的发展。代码和数据集将发布在 https://github.com/MengfeiD/PanOoS。
引用
@article{arxiv.2505.03539,
title = {Panoramic Out-of-Distribution Segmentation},
author = {Mengfei Duan and Yuheng Zhang and Yihong Cao and Fei Teng and Kai Luo and Jiaming Zhang and Kailun Yang and Zhiyong Li},
journal= {arXiv preprint arXiv:2505.03539},
year = {2025}
}
备注
Code and datasets will be available at https://github.com/MengfeiD/PanOoS