DECO：解耦式多模态扩散Transformer用于夹具式触觉适配器的双手灵巧操控
机器人学
2026-03-02 v2 人工智能
摘要
双手灵巧操控依赖于多模态输入的有效集成以完成复杂现实任务。为此，我们提出了 DECO，一种解耦式多模态扩散Transformer，通过专门的条件化路径分离视觉、先验和触觉信号，实现多模态输入的结构化和可控集成，并配备轻量级适配器实现对额外信号的参数高效注入。同步发布的 DECO-50 数据集包含 50 小时数据和超过 500 万帧，采用遥操作方式收集于真实双臂机器人上。我们在 DECO-50 上训练 DECO，并进行大规模真实世界评估，累计超过 2000 次机器人推演。实验结果表明，DECO 在所有任务中均达到最佳性能，平均成功率为 72.25%，相较基线提升 21%。此外，触觉适配器在所有任务上带来额外的 10.25% 平均成功率提升，并在复杂接触密集型任务上实现 20% 的性能增益，同时仅调参不到 10% 的模型参数。
关键词
引用
@article{arxiv.2602.05513,
title = {DECO: Decoupled Multimodal Diffusion Transformer for Bimanual Dexterous Manipulation with a Plugin Tactile Adapter},
author = {Xukun Li and Yu Sun and Lei Zhang and Bosheng Huang and Yibo Peng and Yuan Meng and Haojun Jiang and Shaoxuan Xie and Guocai Yao and Alois Knoll and Zhenshan Bing and Xinlong Wang and Zhenguo Sun},
journal= {arXiv preprint arXiv:2602.05513},
year = {2026}
}
备注
17 pages, 8 figures. Project Page: https://baai-humanoid.github.io/DECO-webpage/