TacUMI：面向接触丰富任务的多模态通用操控接口
机器人学
2026-01-22 v1
摘要
任务分解对于理解和学习复杂的长期程度操控任务至关重要。尤其是在涉及丰富物理相互作用的任务中，仅依赖视觉观察和机器人本体感知信息往往难以揭示底层事件转换。这就需要高质量多模态数据的高效收集以及稳健的分割方法来将演示分解为有意义的模块。基于手持式演示设备通用操控接口（UMI）的概念，我们引入TacUMI，这是一个集成ViTac传感器、力扭矩传感器和姿态跟踪器的多模态数据采集系统，其紧凑且机器人兼容的夹爪设计使其能够在人类演示期间同步获取所有这些模态。我们随后提出了一种多模态分割框架，该框架利用时序模型检测顺序操控中的语义有意义事件边界。针对具有挑战性的电缆安装任务进行评估显示，分割精度超过90%，并表明增加更多模态具有显著改进，验证了TacUMI为大规模收集和分割接触丰富任务的多模态演示建立了实用基础。
引用
@article{arxiv.2601.14550,
title = {TacUMI: A Multi-Modal Universal Manipulation Interface for Contact-Rich Tasks},
author = {Tailai Cheng and Kejia Chen and Lingyun Chen and Liding Zhang and Yue Zhang and Yao Ling and Mahdi Hamad and Zhenshan Bing and Fan Wu and Karan Sharma and Alois Knoll},
journal= {arXiv preprint arXiv:2601.14550},
year = {2026}
}