语言对齐 3D 关键点的通用粗到细机器人操作方法
机器人学
2026-02-24 v2
摘要
层次化粗到细策略中，粗分支预测感兴趣区域以指导细粒动作预测器，已在机器人 3D 操作任务中展现出显著潜力，尤其提升了样本效率并实现更精确的操作。然而，即便辅以预训练模型，这些层次化策略仍面临泛化问题。为增强对新指令和环境变体的泛化能力，我们提出粗到细语言对齐操作策略（CLAP），该框架集成三个关键组件：1）任务分解，2）用于 3D 关键点预测的视觉语言模型微调，3）3D 感知表示。通过仿真和实际机器人上的全面实验，我们证明其优异的泛化能力。具体而言，在针对评估泛化能力设计的基准测试 GemBench 上，我们的方法平均成功率比 SOTA 方法高出 12%，且仅使用训练轨迹的 1/5。实际实验中，我们仅用 10 次演示训练的策略，即可成功泛化到新指令和新环境。
引用
@article{arxiv.2509.23575,
title = {Generalizable Coarse-to-Fine Robot Manipulation via Language-Aligned 3D Keypoints},
author = {Jianshu Hu and Lidi Wang and Shujia Li and Yunpeng Jiang and Xiao Li and Paul Weng and Yutong Ban},
journal= {arXiv preprint arXiv:2509.23575},
year = {2026}
}
备注
Published in ICLR 2026