SplatR：基于3D高斯溅写和稠密特征匹配的经验目标可视化重排
机器人学
2024-12-18 v2 计算机视觉与模式识别
摘要
经验目标可视化重排任务是具身AI中的基础挑战，要求智能体构建准确捕获目标状态的鲁棒世界模型。智能体使用此世界模型将乱序场景恢复到其原始配置，对成功完成任务至关重要，准确的世界表示对完成此任务至关重要。本文提出了一种新型框架，利用3D高斯溅写作为经验目标可视化重排任务的3D场景表示。最近的体积场景表示进展如3D高斯溅写提供了快速的高质量和照片实用的新视图渲染。我们的做法使智能体能够获得当前和目标设置的一致视图，这使得智能体能够直接在图像空间中比较目标状态和乱序状态。为比较这些视图，我们提出使用稠密特征匹配方法，利用从基础模型中提取的视觉特征，从其更通用特征表示的优势中受益，这有助于鲁棒性和泛化。我们在AI2-THOR重排挑战基准上验证了我们的做法，并在当前最先进方法上实现了改进。
引用
@article{arxiv.2411.14322,
title = {SplatR : Experience Goal Visual Rearrangement with 3D Gaussian Splatting and Dense Feature Matching},
author = {Arjun P S and Andrew Melnik and Gora Chand Nandi},
journal= {arXiv preprint arXiv:2411.14322},
year = {2024}
}