改进版视觉歧义消解——基于几何3D特征的Doppelgangers++

准确的3D重建常受到视觉别名的阻碍，其中视觉上相似但具有区别的表面（即双胞胎）被错误地匹配。这类不良匹配扭曲结构从运动（SfM）过程，导致模型元素错位并降低准确性。以前的努力通过在精选数据集上训练的CNN分类器来解决此问题，但这些方法难以在多样化的真实场景中泛化，并且可能需要大量参数调优。在本工作中，我们提出了Doppelgangers++，一种增强双胞胎检测并提高3D重建准确性的方法。我们的贡献包括：1）多样化的训练数据集，纳入来自日常场景中带地理标签的图像，以超越以标志性建筑物为基础的数据集的鲁棒性；2）我们提出了基于Transformer的分类器，利用来自MASt3R模型的3D感知特征，在既有领域也有外域测试中实现卓越的精度和召回率。Doppelgangers++无缝集成到标准SfM和MASt3R-SfM管道中，提供了效率和适应性以应对各种场景。为评估SfM准确性，我们引入了一种基于地理标签的自动化方法，用于验证重建模型，消除对人工检查的需求。通过广泛的实验，我们证明Doppelgangers++显著增强了两两视觉消歧，并在复杂且多样化的场景中提高了3D重建质量。