6DGS：从单张图像和3D高斯溅写模型估计6D姿态
计算机视觉与模式识别
2024-07-23 v1
摘要
我们提出6DGS，用于从单张RGB图像中估计相机姿态，给定表示场景的3D高斯溅写(3D Gaussian Splatting, 3DGS)模型。6DGS避免了分析-合成方法(如iNeRF)中典型的迭代过程，这些方法还需要对相机姿态进行初始化以便收敛。相反，我们的方法通过反转3DGS渲染过程来估计6自由度姿态。从对象表面开始，我们定义一种均匀生成射线的发光Ellicell，以从每个椭球参数化的3DGS模型中发射射线。每个Ellicell射线与每个椭球的渲染参数相关联，用于获取目标图像像素与投射射线之间的最佳匹配。然后对这些像素-射线匹配进行排序，以选择得分最高的射线束，其交点提供相机中心，从而确定相机旋转。所提出的解决方案无需初始化姿态即可闭式求解6DoF姿态估计，不需要迭代。此外，与现有新视角合成(NVS)姿态估计基线相比，6DGS在真实场景上可将整体平均旋转精度提高12%，平移精度提高22%，尽管不需任何初始化姿态。同时，我们的方法在消费级硬件上实现接近实时的运行，达到15fps。
引用
@article{arxiv.2407.15484,
title = {6DGS: 6D Pose Estimation from a Single Image and a 3D Gaussian Splatting Model},
author = {Matteo Bortolon and Theodore Tsesmelis and Stuart James and Fabio Poiesi and Alessio Del Bue},
journal= {arXiv preprint arXiv:2407.15484},
year = {2024}
}
备注
Project page: https://mbortolon97.github.io/6dgs/ Accepted to ECCV 2024