中文

VTouch++:一个面向双手操作、基于视觉触觉增强的多模态数据集

机器人学 2026-04-23 v1 人工智能 数据库 机器学习

摘要

具身智能近年来发展迅速,然而,双手操作——尤其是在接触密集型任务中——仍然充满挑战。这在很大程度上是由于缺乏具有丰富物理交互信号、系统化任务组织和足够规模的数据集。为了解决这些局限性,我们引入了 VTOUCH 数据集。它利用基于视觉的触觉感知提供高保真度的物理交互信号,采用矩阵式任务设计以实现系统化学习,并使用覆盖真实世界、需求驱动场景的自动化数据采集流程来确保可扩展性。为了进一步验证该数据集的有效性,我们在跨模态检索和真实机器人评估上进行了广泛的定量实验。最后,我们通过在多个机器人、策略和任务上的可泛化推理,展示了其真实世界性能。

关键词

引用

@article{arxiv.2604.20444,
  title  = {VTouch++: A Multimodal Dataset with Vision-Based Tactile Enhancement for Bimanual Manipulation},
  author = {Qianxi Hua and Xinyue Li and Zheng Yan and Yang Li and Chi Zhang and Yongyao Li and Yufei Liu},
  journal= {arXiv preprint arXiv:2604.20444},
  year   = {2026}
}