VLM-SFD：VLM 辅助的孪生流扩散框架用于双臂协同操作
机器人学
2025-11-24 v2
摘要
双臂协同操作在应对需要无缝协调和自适应动力学的复杂现实任务方面具有巨大前景。尽管基于学习的运动规划取得了实质性进展，但大多数方法难以跨不同操作任务进行泛化，也难以适应动态、非结构化环境，特别是在涉及两个物体之间交互的场景中，如装配、工具使用和双手抓取。为应对这些挑战，我们提出了一种新颖的 VLM 辅助孪生流扩散（VLM-SFD）框架，用于双臂协同操作的高效模仿学习。所提出的 VLM-SFD 框架表现出出色的适应性，显著增强了仅从极少数量的人类演示中快速适应和泛化到多样化现实任务的能力。具体而言，我们提出了一种孪生流扩散网络（SFDNet），采用双编码器-解码器孪生架构将两个目标物体嵌入共享潜在空间，同时基于任务指令的扩散条件化过程生成双流以物体为中心的运动流来引导双臂协调。我们进一步设计了一种动态任务分配策略，无缝地将预测的二维运动流映射到三维空间，并引入预训练的视觉语言模型（VLM）来随时间自适应地为每个机械臂分配最优运动。实验验证了所提方法的有效性，证明了其在保持高效率和适应性的同时泛化到多样化操作任务的能力。代码和演示视频可在我们的项目网站 https://sites.google.com/view/vlm-sfd/ 上公开获取。
引用
@article{arxiv.2506.13428,
title = {VLM-SFD: VLM-Assisted Siamese Flow Diffusion Framework for Dual-Arm Cooperative Manipulation},
author = {Jiaming Chen and Yiyu Jiang and Aoshen Huang and Yang Li and Wei Pan},
journal= {arXiv preprint arXiv:2506.13428},
year = {2025}
}
备注
Accepted by IEEE RA-L