EgoEMG：用于手姿估计的双模态自我中心数据集集成双侧 EMG 与视觉
计算机视觉与模式识别
2026-05-08 v1
摘要
表面电位图生物力学（sEMG）记录手部运动期间的肌肉活动，可解码以恢复详细的手部关节灵活度。EMG 与自我中心视觉对于手部感知是互补的：EMG 在遮挡和光照不良时捕捉细粒度手指灵活度，而视觉提供全局手部配置。然而，现有数据集尚未同步两种模态。我们提出EgoEMG，一个用于双手手姿估计的多模态自我中心数据集。EgoEMG 包括双侧腕带式 EMG，共 16 个电极（每只手 8 个），采样率为 2 kHz，120 Hz IMU，广角 RGB 视频，外部 RGB-D 视频，以及来自 mocap 的手部运动数据，包含腕部关节灵活度角度。该数据集覆盖 41 名参与者完成 60 种手势类别，包括 30 种单手手势和 30 种双手手势，总时长超过 10 小时。我们还引入一个基准测试，包含三个任务——EMG-to-pose、视觉-to-pose 和 EMG+视觉融合——在统一的关节角度预测目标下进行，采用常见的泛化划分轴（跨手势、跨用户和组合）。作为基线，我们评估了用于 EMG-to-pose 的 EMGFormer，以及用于视觉-to-pose 的通用 ResNet/ViT 骨干网络。我们进一步研究了一种残差融合架构，可显著优于匹配的轻量级视觉-only 基线。EgoEMG 及其基准测试为未来在 EMG 与视觉 multimodal 手姿估计研究奠定了基础。
引用
@article{arxiv.2605.05712,
title = {EgoEMG: A Multimodal Egocentric Dataset with Bilateral EMG and Vision for Hand Pose Estimation},
author = {Ziheng Xi and Jiayi Yu and Yitao Wang and Yanbo Duan and Jianjiang Feng and Jie Zhou},
journal= {arXiv preprint arXiv:2605.05712},
year = {2026}
}
备注
34 pages, 13 figures, 15 tables. Submitted to NeurIPS 2026