Sky2Ground：用于不同高度下的场地建模基准
计算机视觉与模式识别
2026-04-21 v3
摘要
我们提出 Sky2Ground，一个用于不同高度相机定位、对应学习和重建的三视图数据集。该数据集将结构化合成图像与真实野外图像相结合，既提供受控的多视图几何，又包含真实场景噪声。每个场地包含数千张卫星、航空和地面图像，跨越广泛的高度范围和近乎正交的观察角度，使其能够在从全局到局部的语境下进行严格评估。我们对 MASt3R、DUSt3R、Map Anything 和 VGGT 等最新姿态估计模型进行基准测试，发现卫星图像往往会降低性能，这凸显了大幅高度变化带来的挑战。我们还检查了重建方法，指出稀疏几何重叠、不同视角以及使用真实图像引入噪声并降低渲染质量的挑战。为解决部分挑战，我们提出 SkyNet，通过课程化训练策略逐步纳入更多卫星视图，增强跨视图一致性。SkyNet 在 RRA@5 上提升 9.6%，在 RTA@5 上提升 18.1%。Sky2Ground 与 SkyNet 共同构成了一个全面的基准测试平台和基线，推动大规模、多高度 3D 感知和通用相机定位的发展。代码和模型将公开 release 以供后续研究使用。项目页面：https://sky2ground2026.github.io/sky2ground/
引用
@article{arxiv.2603.13740,
title = {Sky2Ground: A Benchmark for Site Modeling under Varying Altitude},
author = {Zengyan Wang and Sirshapan Mitra and Rajat Modi and Grace Lim and Yogesh Rawat},
journal= {arXiv preprint arXiv:2603.13740},
year = {2026}
}
备注
Accepted to CVPR 2026