基于视觉-触觉-图融合的自适应动态模态扩散策略（ADM-DP）用于多智能体操控
机器人学
2026-02-26 v1
摘要
多智能体机器人操控因协调、抓取稳定性和受限工作空间内的碰撞避免等综合需求而具备挑战性。为此，我们提出了自适应动态模态扩散策略（ADM-DP），一个集成视觉、触觉和图-based（多智能体姿态）模态以实现协调控制的框架。ADM-DP引入了四项关键创新：首先，增强视觉编码器通过特征线性调制（FiLM）调制合并RGB与点云特征以丰富感知；其次，触觉引导的抓取策略使用力敏感电阻（FSR）反馈检测接触不足并触发抓取细化，从而提高抓取稳定性；其次，图基碰撞编码器利用多个智能体的共享工具中心点（TCP）位置作为结构化运动学上下文以保持空间感知并减少智能体间干扰；最后，自适应模态注意机制（AMAM）根据任务上下文动态重新加权模态，实现灵活的融合。为了实现可扩展性和模块化，采用解耦训练范式，使智能体学习独立策略的同时共享空间信息。这既保持了智能体之间的低依赖性，又保留了整体意识。对于七个多智能体任务，ADM-DP相对于最先进的基线实现了12%-25%的性能提升。消融研究表明，在需要多个感知模态的任务中，Our自适应融合策略取得了最大的改进，验证了其自适应融合策略的有效性，并为 diverse manipulation scenarios 展示了其鲁棒性。
引用
@article{arxiv.2602.21622,
title = {ADM-DP: Adaptive Dynamic Modality Diffusion Policy through Vision-Tactile-Graph Fusion for Multi-Agent Manipulation},
author = {Enyi Wang and Wen Fan and Dandan Zhang},
journal= {arXiv preprint arXiv:2602.21622},
year = {2026}
}
备注
Accepted to IEEE International Conference on Robotics and Automation (ICRA 2026)