EHWGesture——面向临床手势多模态理解的视频数据集
计算机视觉与模式识别
2026-02-25 v1 人工智能
摘要
手部手势理解对于人机交互中的若干应用至关重要，包括手部灵巧度的自动临床评估。尽管深度学习推动了静态手势识别的发展，但由于复杂的时空变化，动态手势理解仍然具有挑战性。此外，现有数据集往往缺乏多模态和多视角的多样性、精确的真值跟踪以及嵌入手势中的动作质量成分。本文介绍了EHWGesture，这是一个用于手势理解的多模态视频数据集，包含五种临床相关手势。该数据集包含超过1100段录像（6小时），使用两台高分辨率RGB-Depth相机和一台事件相机从25名健康受试者采集。运动捕捉系统提供了精确的真值手部关键点跟踪，所有设备均经过空间标定和同步，以确保跨模态对齐。此外，为了在手势理解中嵌入动作质量任务，采集的录像按执行速度分类，以模拟手部灵活度的临床评估。基线实验凸显了该数据集在手势分类、手势触发检测和动作质量评估方面的潜力。因此，EHWGesture可作为推进多模态临床手势理解的一个全面基准。
引用
@article{arxiv.2509.07525,
title = {EHWGesture -- A dataset for multimodal understanding of clinical gestures},
author = {Gianluca Amprimo and Alberto Ancilotto and Alessandro Savino and Fabio Quazzolo and Claudia Ferraris and Gabriella Olmo and Elisabetta Farella and Stefano Di Carlo},
journal= {arXiv preprint arXiv:2509.07525},
year = {2026}
}
备注
Accepted at ICCV 2025 Workshop on AI-driven Skilled Activity Understanding, Assessment & Feedback Generation