PhotoReg：为 3D 高斯溅射模型进行光谱配准
机器人学
2024-10-08 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
准确构建环境表示对于智能机器人在部署过程中做出决策至关重要。近期出现的逼真环境模型已使机器人能够开发出超越现实的重建，这些重建可用于生成直观人类检查所需的图像。特别是，最近引入的 3DGS（Three-Dimensional Gaussian Splatting）模型可使用数百万个原始椭球体描述场景，并实现实时渲染。3DGS 迅速获得了广泛关注。然而，一个关键未解决的问题仍然存在：如何将多个 3DGS 模型融合成单个连贯的模型？解决这一问题后，机器人团队即可共同构建其周围环境的 3DGS 模型。本工作的关键思想是利用光谱重建（即从 3D 结构渲染出逼真的 2D 图像）与 3D 基础模型（即从图像对预测 3D 结构）之间的{二元性}。为此，我们开发了 PhotoReg—a 一个用于将多个光谱逼真 3DGS 模型与 3D 基础模型进行配准的框架。由于 3DGS 模型通常由单目相机图像构建，因此具有\emph{任意尺度}。为解决此问题，PhotoReg 通过考虑这些模型中的深度估计，主动强制不同 3DGS 模型之间的尺度一致性。随后，通过细粒度光谱损失迭代细化对齐，以生成高质量的融合 3DGS 模型。我们在标准基准数据集和我们自采集的数据集上严格评估了 PhotoReg，包括使用两个四足机器人。代码已发布于 \url{ziweny11.github.io/photoreg}。
引用
@article{arxiv.2410.05044,
title = {PhotoReg: Photometrically Registering 3D Gaussian Splatting Models},
author = {Ziwen Yuan and Tianyi Zhang and Matthew Johnson-Roberson and Weiming Zhi},
journal= {arXiv preprint arXiv:2410.05044},
year = {2024}
}