面向预测的高斯溅射：语言引导的抓取-放置操作中的3D表示
机器人学
2026-05-13 v1
摘要
我们提出Forecast-aware Gaussian Splatting(Forecast-GS)，这是一种用于语言条件化机器人操作的预测3D表示框架。虽然最近的操纵系统通过将语言指令 grounding 到机器人 affordances、价值图或关系关键点约束方面取得了进展，但它们通常只推理当前场景，不显式建模任务完成状态。当成功取决于满足空间和语义目标且仅有部分观察时，这一限制尤为关键，机器人必须评估候选动作是否导致可行的任务一致结果。我们在真实世界的抓取-放置操作任务中验证了Forecast-GS，包括Cutter-to-Box、Apple-to-Bowl和Sponge-to-Tray。对于每个任务，我们在不同的初始物体配置下进行了25次真实世界试验，使用相同的机器人平台和感知 setup。Forecast-GS配合自动候选选择，在三个任务上的成功率分别为21/25、23/25和16/25，优于ReKep基线，该基线的成功率分别为15/25、19/25和10/25。诊断性的人工辅助设置进一步提高了成功率至23/25、24/25和19/25，表明候选生成有效，但自动排序仍不完美。这些结果表明，显式预测任务完成的3D状态能够实现更可靠的动作评估，而自动与人工辅助选择之间的差距表明稳健的最终状态排序仍是完全自主操纵的重要挑战。总体而言，Forecast-GS为语言理解、3D感知和机器人操纵规划之间提供了可解释的桥梁。
引用
@article{arxiv.2605.11144,
title = {Forecast-aware Gaussian Splatting for Predictive 3D Representation in Language-Guided Pick-and-Place Manipulation},
author = {Kaixin Jia and Jiacheng Xu},
journal= {arXiv preprint arXiv:2605.11144},
year = {2026}
}