SplatLoc：基于 3D 高斯泼溅的增强现实视觉定位
计算机视觉与模式识别
2024-09-24 v1
摘要
视觉定位在增强现实应用中发挥着重要作用，它使 AR 设备能够在预建地图中获取其 6-DoF 位姿，以便在真实场景中渲染虚拟内容。然而，大多数现有方法无法进行新视角渲染，且需要极大的地图存储容量。为克服这些局限性，我们提出了一种能够以更少参数实现高质量渲染的高效视觉定位方法。具体而言，我们的方法利用 3D 高斯基元作为场景表示。为确保用于位姿估计的精确 2D-3D 对应关系，我们为高斯基元开发了一个无偏的 3D 场景特定描述符解码器，该解码器由构建的特征体蒸馏而来。此外，我们引入了一种显著 3D 地标选择算法，该算法基于显著性分数选择合适的基元子集用于定位。我们进一步对关键高斯基元进行正则化以防止各向异性效应，这也提升了定位性能。在两个广泛使用的数据集上的大量实验表明，我们的方法实现了优于或可比于 SOTA 基于隐式的视觉定位方法的渲染和定位性能。项目页面：\href{https://zju3dv.github.io/splatloc}{https://zju3dv.github.io/splatloc}。
关键词
引用
@article{arxiv.2409.14067,
title = {SplatLoc: 3D Gaussian Splatting-based Visual Localization for Augmented Reality},
author = {Hongjia Zhai and Xiyu Zhang and Boming Zhao and Hai Li and Yijia He and Zhaopeng Cui and Hujun Bao and Guofeng Zhang},
journal= {arXiv preprint arXiv:2409.14067},
year = {2024}
}