基于分段驱动和边缘对齐变形的多视图立体视觉方法——SED-MVS
计算机视觉与模式识别
2025-03-19 v1
摘要
最近，基于补丁变形的方法在多视图立体视觉中显示出显著的有效性，由于在重建纹理缺失区域时具有可变形和可扩展的补丁。然而，这些方法主要侧重于扩大纹理缺失区域的感受野，忽略了由于易忽视的边缘跳过而导致的变形不稳定性，可能导致匹配失真。为此，我们提出SED-MVS方法，采用全景分割和多轨迹扩散策略进行分段驱动和边缘对齐补丁变形。具体而言，为防止意外的边缘跳过，我们首先采用SAM2进行全景分割作为深度边缘引导，以指导补丁变形，随后采用多轨迹扩散策略确保补丁与深度边缘全面对齐。此外，为避免随机初始化的潜在不准确，我们将LoFTR的稀疏点和DepthAnything V2的单目深度图组合，以恢复初始化和监督指导可靠且真实的深度图。最后，我们将分割图像与单目深度图整合，以利用跨实例遮挡关系，然后进一步将其视为遮挡图以实施两种不同的边缘约束，从而促进遮挡感知的补丁变形。在ETH3D、Tanks & Temples、BlendedMVS和Strecha数据集上的大量结果验证了我们所提出方法的领先性能和稳健的泛化能力。
引用
@article{arxiv.2503.13721,
title = {SED-MVS: Segmentation-Driven and Edge-Aligned Deformation Multi-View Stereo with Depth Restoration and Occlusion Constraint},
author = {Zhenlong Yuan and Zhidong Yang and Yujun Cai and Kuangxin Wu and Mufan Liu and Dapeng Zhang and Hao Jiang and Zhaoxin Li and Zhaoqi Wang},
journal= {arXiv preprint arXiv:2503.13721},
year = {2025}
}