Hoi! — 一个面向力觉引导、跨视角关节操作的多模态数据集
机器人学
2026-04-17 v3
摘要
我们提出一个面向力觉引导、跨视角关节操作的数据集，该数据集将人类交互过程中所见、所做与所感进行耦合。数据集包含38个环境中381个关节物体的3048个序列。每个物体在四种具身方式下进行操作——(i) 人手，(ii) 带有腕部相机的双手，(iii) 手持UMI夹爪，(iv) 自定义Hoi!夹爪，其中工具具身提供末端执行器力与触觉感知。我们的数据集提供了交互理解的全面视角，使研究人员能够评估方法在人机视角之间的迁移效果，也能探索交互力等未被充分研究的模态。项目网站位于https://timengelbracht.github.io/Hoi-Dataset-Website/。
引用
@article{arxiv.2512.04884,
title = {Hoi! - A Multimodal Dataset for Force-Grounded, Cross-View Articulated Manipulation},
author = {Tim Engelbracht and René Zurbrügg and Matteo Wohlrapp and Martin Büchner and Abhinav Valada and Marc Pollefeys and Hermann Blum and Zuria Bauer},
journal= {arXiv preprint arXiv:2512.04884},
year = {2026}
}