CL-MVSNet: 基于双层级对比学习的无监督多视角立体视觉
计算机视觉与模式识别
2025-03-12 v1 人工智能
摘要
无监督多视角立体视觉（MVS）方法近期已取得显著进展。然而，此前的方法主要依赖光度一致性假设，这可能受到两个局限的影响：不可区分区域和视角依赖效应（例如低纹理区域和反射）。为解决这些问题，本文提出了一种新的双层级对比学习方法 CL-MVSNet。具体而言，我们的模型将两个对比分支集成到无监督 MVS 框架中，以构建额外的监督信号。一方面，我们提出了一种图像级对比分支，引导模型获取更多的上下文意识，从而在不可区分区域实现更完整的深度估计。另一方面，我们利用场景级对比分支来增强表示能力，提高对视角依赖效应的鲁棒性。此外，为恢复更准确的 3D 几何，我们引入了一种 L0.5 光度一致性损失，鼓励模型更关注准确的点，同时减轻不理想点的梯度惩罚。在 DTU 和 Tanks&Temples 基准数据集上的大量实验表明，我们的方法在所有端到端无监督 MVS 框架中达到了最先进的性能，并在无需微调的情况下以显著优势超越了其有监督对应方法。
引用
@article{arxiv.2503.08219,
title = {CL-MVSNet: Unsupervised Multi-view Stereo with Dual-level Contrastive Learning},
author = {Kaiqiang Xiong and Rui Peng and Zhe Zhang and Tianxing Feng and Jianbo Jiao and Feng Gao and Ronggang Wang},
journal= {arXiv preprint arXiv:2503.08219},
year = {2025}
}
备注
Accpetd by ICCV2023