融合 3D 几何与机器学习用于多视图立体视觉
计算机视觉与模式识别
2025-09-16 v4 人工智能
计算几何
机器学习
摘要
传统的多视图立体 (MVS) 方法主要依赖于光度一致性和几何一致性约束。相比之下，现代基于学习的算法通常依赖平面扫描算法来推断 3D 几何，仅将显式的几何一致性 (GC) 检查作为后处理步骤，对学习过程本身没有影响。在这项工作中，我们引入了 GC MVSNet plus plus，这是一种新颖的方法，它在学习阶段主动强制执行参考视图深度图跨多个源视图（多视图）和不同尺度（多尺度）的几何一致性（见图 1）。这种集成的 GC 检查通过直接惩罚几何不一致的像素，显著加速了学习过程，与其他 MVS 方法相比，有效地将训练迭代次数减半。此外，我们引入了一个密集连接的成本正则化网络，该网络具有两种不同的块设计——简单和特征密集优化——以利用密集特征连接来增强正则化。大量实验表明，我们的方法在 DTU 和 BlendedMVS 数据集上达到了新的最先进水平，并在 Tanks and Temples 基准测试中获得了第二名。据我们所知，GC MVSNet++ 是首个在学习过程中强制执行多视图、多尺度监督几何一致性的方法。我们的代码已开源。
引用
@article{arxiv.2505.03470,
title = {Blending 3D Geometry and Machine Learning for Multi-View Stereopsis},
author = {Vibhas Vats and Md. Alimoor Reza and David Crandall and Soon-heung Jung},
journal= {arXiv preprint arXiv:2505.03470},
year = {2025}
}
备注
A pre-print -- accepted at Neurocomputing. arXiv admin note: substantial text overlap with arXiv:2310.19583