当对极约束遇见多视图立体中的非局部算子
计算机视觉与模式识别
2023-10-02 v1
摘要
基于学习的多视图立体（MVS）方法严重依赖特征匹配，这需要具有区分性与描述性的表示。一种有效的解决方案是应用非局部特征聚合，例如 Transformer。尽管有用，这些技术为 MVS 带来了沉重的计算开销。每个像素密集地关注整幅图像。相比之下，我们提出将对非局部特征增强限制在一对线内：每个点仅关注对应的对极线对。我们的思路受经典对极几何启发，其表明具有不同深度假设的一个点将投影到另一视图的对极线上。该约束在立体匹配中将二维搜索空间缩减为对极线。类似地，这表明 MVS 的匹配是区分位于同一直线上的一系列点。受此点至线搜索启发，我们设计了一种线到点非局部增强策略。我们首先设计一种优化搜索算法，将二维特征图分割为对极线对。然后，一个对极 Transformer（ET）在对极线对间执行非局部特征增强。我们将 ET 整合进一个基于学习的 MVS 基线，命名为 ET-MVSNet。ET-MVSNet 在 DTU 和 Tanks-and-Temples 基准上以高效率取得了最先进的重建性能。代码见 https://github.com/TQTQliu/ET-MVSNet。
引用
@article{arxiv.2309.17218,
title = {When Epipolar Constraint Meets Non-local Operators in Multi-View Stereo},
author = {Tianqi Liu and Xinyi Ye and Weiyue Zhao and Zhiyu Pan and Min Shi and Zhiguo Cao},
journal= {arXiv preprint arXiv:2309.17218},
year = {2023}
}
备注
ICCV2023