面向任务的双臂操作便利性预测：基于VLM引导的语义-几何推理
机器人学
2026-04-13 v1
摘要
双臂操作需要推理对象交互处所及各臂应为每个动作分配执行位置，这是联合的便利性定位与臂分配问题，几何-only规划器在没有对任务意图语义理解的情况下无法解决。现有方法要么将便利性预测处理为粗糙的部件分割，要么依赖几何启发式进行臂分配，无法联合推理任务相关接触区域与臂分配。我们将双臂操作重新定义为联合便利性定位与臂分配问题，提出一种基于视觉语言模型(VLM)的任务感知双臂便利性预测层次框架，以实现无需类别特定训练即可跨对象类别和任务描述进行泛化。我们的方法将多视角RGB-D观测融合为一致的3D场景表示，生成全局6自由度抓取候选解，然后通过查询VLM获取每个对象的任务相关便利性区域及各对象的臂分配，以确保几何有效性同时尊重任务语义。我们在双臂平台上进行评估，覆盖九个真实世界操作任务，跨越四个类别：平行操作、协同稳定、工具使用和人类接力。我们的方法在面向任务的抓取方面优于几何和语义基线，持续实现更高的任务成功率，证明了对便利性和臂分配进行显式语义推理有助于实现无结构环境中可靠的双臂操作。
引用
@article{arxiv.2604.08726,
title = {Task-Aware Bimanual Affordance Prediction via VLM-Guided Semantic-Geometric Reasoning},
author = {Fabian Hahne and Vignesh Prasad and Georgia Chalvatzaki and Jan Peters and Alap Kshirsagar},
journal= {arXiv preprint arXiv:2604.08726},
year = {2026}
}