MonoDVPS：一种用于深度感知视频全景分割的自监督单目深度估计方法
计算机视觉与模式识别
2022-10-17 v1
摘要
深度感知视频全景分割旨在解决从视频序列恢复全景三维点云的逆投影问题，其中三维点被赋予语义类别和时间一致的实例标识符。我们提出了一种多任务网络的新颖解决方案，该网络执行单目深度估计与视频全景分割。由于获取深度与图像分割的 ground truth 标签成本相对较高，我们利用无标签视频序列进行自监督单目深度估计，并借助伪标签的半监督学习用于视频全景分割。为了进一步改进深度预测，我们引入了全景引导的深度损失以及一种针对运动物体的新颖全景掩码方案，以避免破坏训练信号。在 Cityscapes-DVPS 和 SemKITTI-DVPS 数据集上的大量实验表明，我们结合所提改进的模型取得了具有竞争力的结果和快速的推理速度。
引用
@article{arxiv.2210.07577,
title = {MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation},
author = {Andra Petrovai and Sergiu Nedevschi},
journal= {arXiv preprint arXiv:2210.07577},
year = {2022}
}
备注
WACV 2023