UFORecon：基于任意和不利集合的可泛化稀疏视角表面重建
计算机视觉与模式识别
2024-05-20 v3
摘要
可泛化的神经隐式表面重建旨在利用来自未见场景的有限数量多视角图像获取准确的底层几何结构。然而，现有方法在训练和测试阶段仅使用预定义分数选择信息丰富且相关的视角。这一限制使得模型在现实场景中不切实际，因为在这些场景中无法始终确保有利组合的可用性。我们引入并验证了一种视角组合分数，以指示输入视角组合的有效性。我们观察到，先前的方法在任意和不利的集合下会输出退化解。基于这一发现，我们提出了 UFORecon，一个鲁棒的视角组合可泛化表面重建框架。为此，我们应用跨视角匹配 Transformer 对源图像之间的交互进行建模，并构建相关性视锥以捕捉全局相关性。此外，我们显式地将成对特征相似性编码为视角一致先验。我们提出的框架在视角组合泛化性方面显著优于先前的方法，在使用有利视角组合训练的传统可泛化协议中也表现更优。代码地址：https://github.com/Youngju-Na/UFORecon。
引用
@article{arxiv.2403.05086,
title = {UFORecon: Generalizable Sparse-View Surface Reconstruction from Arbitrary and UnFavOrable Sets},
author = {Youngju Na and Woo Jae Kim and Kyu Beom Han and Suhyeon Ha and Sung-eui Yoon},
journal= {arXiv preprint arXiv:2403.05086},
year = {2024}
}
备注
accepted at CVPR 2024 project page: https://youngju-na.github.io/uforecon.github.io/