非模态全景分割
计算机视觉与模式识别
2022-02-24 v1 人工智能
机器人学
摘要
人类具有 remarkable 的将物体作为整体感知的能力，即使其部分被遮挡。这种非模态感知能力构成了我们对世界的感知与认知理解的基础。为使机器人具备此推理能力，我们提出并定义了一项新任务，命名为非模态全景分割（amodal panoptic segmentation）。该任务的目标是同时预测 stuff 类可见区域的像素级语义分割标签，以及 thing 类可见与遮挡区域的实例分割标签。为推动该新任务的研究，我们扩展了两个已有基准数据集，为其标注像素级非模态全景分割标签，并公开为 KITTI-360-APS 与 BDD100K-APS。我们给出了若干强基线方法，以及非模态全景质量（APQ）与非模态解析覆盖度（APC）指标，以可解释的方式量化性能。此外，我们提出了新颖的非模态全景分割网络（APSNet），作为解决该任务的第一步，通过显式建模遮挡物与被遮挡物之间的复杂关系。大量实验评估表明，APSNet 在两个基准上均达到 SOTA 性能，更重要的是展示了非模态识别的效用。基准数据见 http://amodal-panoptic.cs.uni-freiburg.de。
引用
@article{arxiv.2202.11542,
title = {Amodal Panoptic Segmentation},
author = {Rohit Mohan and Abhinav Valada},
journal= {arXiv preprint arXiv:2202.11542},
year = {2022}
}