基于高斯溅写引导的目标物体姿态跟踪 GSGTrack
计算机视觉与模式识别
2024-12-04 v1 机器人学
摘要
跟踪未知物体在单目 RGB 视频序列中的 6 自由度 (6DoF) 位姿是机器人操作的关键任务。然而，现有方法通常依赖准确的深度信息，而在实际场景中获取深度信息并不容易。虽然可以采用深度估计算法，但几何不准确性可能导致基于 RGBD 的位姿跟踪方法失效。为此，我们引入 GSGTrack，一种新的基于 RGB 的位姿跟踪框架，联合优化几何与位姿。具体而言，我们采用 3D 高斯溅写 (3D Gaussian Splatting) 创建可优化的 3D 表示，同时学习图结构几何优化，以捕捉物体的外观特征并细化其几何。然而，联合优化过程容易受到噪声位姿和几何数据的扰动。因此，我们提出物体轮廓损失，以解决像素级损失对跟踪过程中位姿噪声敏感的问题。为缓解由于深度信息不准确导致的几何歧义，我们提出几何一致的图像对选择策略，筛选低置信度的图像对，确保几何优化的稳健性。在 OnePose 和 HO3D 数据集上进行大量实验表明，GSGTrack 在 6DoF 位姿跟踪和物体重建方面均表现出色。
引用
@article{arxiv.2412.02267,
title = {GSGTrack: Gaussian Splatting-Guided Object Pose Tracking from RGB Videos},
author = {Zhiyuan Chen and Fan Lu and Guo Yu and Bin Li and Sanqing Qu and Yuan Huang and Changhong Fu and Guang Chen},
journal= {arXiv preprint arXiv:2412.02267},
year = {2024}
}