感知遮挡的无缝分割
计算机视觉与模式识别
2024-11-21 v3 机器人学
图像与视频处理
摘要
全景图像能够拓宽视场(FoV)，感知遮挡的预测能够加深对场景的理解，而域适应能够跨视角域进行迁移。本文引入了一项新任务——感知遮挡的无缝分割(OASS)，同时应对这三个挑战。为了对 OASS 进行基准测试，我们建立了一个新的人工标注数据集，用于混合全景非模态无缝分割，即 BlendPASS。此外，我们提出了首个解决方案 UnmaskFormer，旨在一次性消除窄视场、遮挡和域差距的限制。具体而言，UnmaskFormer 包含去遮挡注意力(UA)和面向非模态混合(AoMix)的关键设计。我们的方法在 BlendPASS 数据集上取得了最先进的性能，达到了 26.58% 的显著 mAPQ 和 43.66% 的 mIoU。在公开的全景语义分割数据集 SynPASS 和 DensePASS 上，我们的方法优于先前的方法，分别获得了 45.34% 和 48.08% 的 mIoU。全新的 BlendPASS 数据集和源代码可在 https://github.com/yihong-97/OASS 获取。
引用
@article{arxiv.2407.02182,
title = {Occlusion-Aware Seamless Segmentation},
author = {Yihong Cao and Jiaming Zhang and Hao Shi and Kunyu Peng and Yuhongxuan Zhang and Hui Zhang and Rainer Stiefelhagen and Kailun Yang},
journal= {arXiv preprint arXiv:2407.02182},
year = {2024}
}
备注
Accepted to ECCV 2024. The fresh dataset and source code are available at https://github.com/yihong-97/OASS