通过高斯溶射解锁半密集图像匹配的零样本潜力
计算机视觉与模式识别
2025-11-27 v1
摘要
基于学习的图像匹配严重依赖大规模、多样且几何准确的训练数据。3D 高斯溶射 (3DGS) 能够实现照片般的新视角合成，因此备受青睐。然而，其几何不准确性和偏置深度渲染目前仍阻碍可靠的对应标记。为此，我们引入 MatchGS，第一个系统性纠正和利用 3DGS 以实现稳健、零样本图像匹配的框架。我们的做法有两个方面：(1) 一个几何忠实的数据生成管线，该管线细化 3DGS 的几何结构，以产生高度精确的对应标签，使我们能够在不损害渲染保真度的前提下合成大量且多样的视角；(2) 一种 2D-3D 表示对齐策略，将 3DGS 的显式 3D 知识注入 2D 匹配器中，引导 2D 半密集匹配器学习与视角无关的 3D 表示。我们生成的ground-truth 对应标记将 epipolar 误差降低最高可达既有数据集的 40 倍，使我们能够在极端视角变化下进行监督，并通过高斯属性提供自监督信号。因此，仅在我们的数据上训练的 state-of-the-art 匹配器在公共基准测试上实现显著的零样本性能提升，提升幅度最高可达 17.7%。我们的工作表明，经过适当的几何细化后，3DGS 可作为一种可扩展、高保真度和结构丰富的数据源，为下一代稳健的零样本图像匹配器铺平了道路。
关键词
引用
@article{arxiv.2511.21265,
title = {Unlocking Zero-shot Potential of Semi-dense Image Matching via Gaussian Splatting},
author = {Juncheng Chen and Chao Xu and Yanjun Cao},
journal= {arXiv preprint arXiv:2511.21265},
year = {2025}
}