X-PDNet：基于跨任务蒸馏与边界校正的精确联合平面实例分割与单目深度估计
计算机视觉与模式识别
2023-09-26 v2
摘要
从单张 RGB 图像中分割平面区域是复杂场景感知中一项尤为重要的任务。为利用图像中的视觉与几何属性，近期方法常通过特征融合机制与几何约束损失将该问题建模为平面实例与稠密深度的联合估计。尽管取得了有前景的结果，这些方法未考虑跨任务特征蒸馏，且在边界区域表现不佳。为克服这些局限，我们提出 X-PDNet，一种用于平面实例分割与深度估计多任务学习的框架，在以下两方面作出改进。首先，我们构建了跨任务蒸馏设计，促进双任务间的早期信息共享以改进特定任务。其次，我们指出了当前利用真值边界开发边界回归损失的局限，并提出一种利用深度信息支撑精确边界区域分割的新方法。最后，我们手动标注了 Stanford 2D-3D-Semantics 数据集中的 3000 余张图像，并提供用于平面实例分割的评估。实验表明，我们的方法证明了其优势，在 ScanNet 与 Stanford 2D-3D-S 数据集的定量结果上以大幅领先基线的优势超越基线，验证了所提方法的有效性。
引用
@article{arxiv.2309.08424,
title = {X-PDNet: Accurate Joint Plane Instance Segmentation and Monocular Depth Estimation with Cross-Task Distillation and Boundary Correction},
author = {Cao Dinh Duc and Jongwoo Lim},
journal= {arXiv preprint arXiv:2309.08424},
year = {2023}
}
备注
Accepted to BMVC 2023