街景图像中的联合2D-3D分割与关联
计算机视觉与模式识别
2026-05-27 v1
摘要
对街景图像的精确解读对于大规模城市制图和创建空间数字孪生（SDT）环境至关重要。本文提出了一个用于联合2D-3D分割与关联的统一框架，该框架整合了视觉语义与多视图几何推理。与依赖连续帧进行时序追踪的传统方法不同，我们的方法利用零样本检测与分割，结合运动恢复结构重建，来建立稳定的跨视图对应关系。一种3D驱动的关联机制取代了传统的2D多目标追踪，利用几何一致性来指导身份在宽基线视角和不同成像条件下的保持。通过结合2D纹理线索与全局3D上下文，所提出的流程非常适合可扩展的街景处理，并可应用于多种对象类型。实验表明，与最先进的纯2D追踪方法相比，本方法在真实序列的覆盖率和身份保持的鲁棒性方面均有显著提升，在具有挑战性的城市场景中性能提升了22%。
引用
@article{arxiv.2605.26725,
title = {Joint 2D-3D Segmentation and Association in Street-level Imaging},
author = {Amir Melnikov and Masayuki Tanaka and Yusuke Monno and Masatoshi Okutomi},
journal= {arXiv preprint arXiv:2605.26725},
year = {2026}
}
备注
15 pages, 6 image figures, 1 in-body table, 1 in-body algorithm, 2 indexes with tables