EgoPressure：面向以太视角的手部压力与姿态估计数据集
计算机视觉与模式识别
2024-12-05 v2 人机交互
摘要
触摸接触和压力是理解人类如何与物体交互和操作的关键因素，这些见解显著可以惠及混合现实和机器人等应用。然而，由于缺乏提供精确手部姿态于接触表面以及详细压力信息注释的综合性数据集，从以太视角估计这些交互具有挑战。本文介绍 EgoPressure，一个新颖的以太数据集，捕获详细的触摸接触和压力交互。EgoPressure 为每个接触点提供高分辨率压力强度注释，并包括通过我们提出的多视角、序列优化方法获得的准确手部姿态网格，后者处理来自 8 台摄像机捕获装置的数据。该数据集包含来自 21 名参与者的 5 小时的记录交互，同时由一台佩戴式和七台 stationary Kinect 摄像机捕获，以 30 Hz 的速度获取 RGB 图像和深度图。为支持未来研究和基准测试，我们呈现了几个基线模型，用于从 RGB 图像估计外部表面的应用压力，带或不带手部姿态信息。我们进一步探索了手部网格与应用压力的联合估计。我们的实验表明，压力与手部姿态对于理解手部-物体交互是互补的。ng of hand-object interactions in AR/VR and robotics research. 项目页面: \url{https://yiming-zhao.github.io/EgoPressure/}。
引用
@article{arxiv.2409.02224,
title = {EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision},
author = {Yiming Zhao and Taein Kwon and Paul Streli and Marc Pollefeys and Christian Holz},
journal= {arXiv preprint arXiv:2409.02224},
year = {2024}
}