PanopticDepth：一种用于深度感知全景分割的统一框架
计算机视觉与模式识别
2022-06-02 v1
摘要
本文提出了一种用于深度感知全景分割(DPS)的统一框架，旨在从单张图像重建具有实例级语义的3D场景。先前工作通过将密集深度回归头简单添加到全景分割(PS)网络来解决该问题，形成了两个独立的任务分支。这忽略了两个任务之间互利的关系，因而未能利用便捷的实例级语义线索来提升深度精度，同时产生了次优的深度图。为克服这些局限，我们通过对PS与深度预测任务均应用动态卷积技术，提出了一种用于DPS任务的统一框架。具体而言，我们不是一次性预测所有像素的深度，而是生成实例特定的卷积核来预测每个实例的深度与分割掩码。此外，借助实例级深度估计方案，我们添加了额外的实例级深度线索，通过一种新的深度损失来辅助监督深度学习。在Cityscapes-DPS与SemKITTI-DPS上的大量实验证明了我们方法的有效性与前景。我们希望这一DPS统一方案能引领该领域的新范式。代码见https://github.com/NaiyuGao/PanopticDepth。
引用
@article{arxiv.2206.00468,
title = {PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmentation},
author = {Naiyu Gao and Fei He and Jian Jia and Yanhu Shan and Haoyang Zhang and Xin Zhao and Kaiqi Huang},
journal= {arXiv preprint arXiv:2206.00468},
year = {2022}
}
备注
CVPR2022