面向深度统一深度感知全景分割的双向引导学习
计算机视觉与模式识别
2023-08-15 v2
摘要
深度感知全景分割是计算机视觉中一个新兴课题，它结合语义与几何理解以实现更鲁棒的场景解析。近期工作追求统一框架来应对这一挑战，但大多仍将其视为两个独立的学习任务，这限制了它们挖掘跨域信息的潜力。我们提出了一种用于深度感知全景分割的深度统一框架，该框架以逐片段方式并使用相同的目标查询(object queries)联合执行分割与深度估计。为缩小两任务间的差距，我们进一步设计了一种几何查询增强方法，能够利用潜在表示将场景几何整合进目标查询。此外，我们提出一种双向引导学习方法，通过利用任务间的相互关系来促进跨任务特征学习。我们的方法在 Cityscapes-DVPS 和 SemKITTI-DVPS 数据集上刷新了深度感知全景分割的 SOTA 性能。而且，我们的引导学习方法即使在非完整监督标签下也能带来性能提升。
引用
@article{arxiv.2307.14786,
title = {Towards Deeply Unified Depth-aware Panoptic Segmentation with Bi-directional Guidance Learning},
author = {Junwen He and Yifan Wang and Lijun Wang and Huchuan Lu and Jun-Yan He and Jin-Peng Lan and Bin Luo and Yifeng Geng and Xuansong Xie},
journal= {arXiv preprint arXiv:2307.14786},
year = {2023}
}
备注
to be published in ICCV 2023