从实例轮廓学习全景分割

全景分割旨在像素级别提供对背景（stuff）和物体实例（things）的理解。它结合了语义分割（像素级分类）和实例分割的独立任务，以构建单一统一的场景理解任务。通常，全景分割通过组合单独或联合学习（多任务网络）的语义和实例分割任务得到。一般而言，实例分割网络通过在目标检测器之上添加前景掩码估计层或使用将像素分配给实例中心的实例聚类方法来构建。在这项工作中，我们提出了一种全卷积神经网络，它从语义分割和实例轮廓（things的边界）学习实例分割。实例轮廓与语义分割一起产生things的边界感知语义分割。对这些结果进行连通分量标记可生成实例分割。我们合并语义和实例分割结果以输出全景分割。我们在CityScapes数据集上评估了所提方法，以展示定性和定量性能以及若干消融研究。我们的概览视频可从url:https://youtu.be/wBtcxRhG3e0访问。