GoMVS：面向多视图立体的几何一致性代价聚合
计算机视觉与模式识别
2024-04-12 v1
摘要
匹配代价聚合在基于学习的多视图立体网络中起着基础性作用。然而，由于局部几何不一致性，直接聚合相邻代价可能导致次优结果。现有相关方法要么寻求选择性聚合，要么在二维空间中改进聚合深度，两者均无法有效处理代价体中的几何不一致性。在本文中，我们提出 GoMVS 来聚合几何一致的代价，从而更好地利用相邻几何信息。具体而言，我们结合局部几何平滑性与表面法线，将相邻代价对应并传播至参考像素。我们通过几何一致传播（GCP）模块实现这一点。该模块利用表面法线计算从相邻深度假设空间到参考深度空间的对应关系，随后使用该对应关系将相邻代价传播至参考几何，并接以卷积进行聚合。我们的方法在 DTU、Tanks & Temple 和 ETH3D 数据集上取得了新的 SOTA 性能。值得注意的是，我们的方法在 Tanks & Temple Advanced 基准测试中排名第一。
引用
@article{arxiv.2404.07992,
title = {GoMVS: Geometrically Consistent Cost Aggregation for Multi-View Stereo},
author = {Jiang Wu and Rui Li and Haofei Xu and Wenxun Zhao and Yu Zhu and Jinqiu Sun and Yanning Zhang},
journal= {arXiv preprint arXiv:2404.07992},
year = {2024}
}
备注
CVPR 2024. Project page: https://wuuu3511.github.io/gomvs/ Code: https://github.com/Wuuu3511/GoMVS