基于惯性和视觉传感器的运动捕捉
计算机视觉与模式识别
2026-04-06 v4
摘要
人类运动捕捉是许多计算机视觉和图形任务的基础。虽然 Industrial 级运动捕捉系统广泛应用于电影和游戏制作中，但消费级且易于使用的解决方案在个人应用场景仍远未成熟。为在日常生活中利用单目摄像机和少量惯性测量单元(IMU)实现精准的多模态人类运动捕捉，本文贡献了 MINIONS 数据集，该数据集综合了来自惯性和视觉传感器的运动捕捉数据。MINIONS 数据集具有以下几个特点：1) 超过五百万帧、400 分钟的时长；2) 包含 IMU 信号和 RGB 视频的多模态数据，并标注了关节位置、关节旋转、SMPL 参数等；3) 包含 146 种细粒度单动作和互动动作及其文本描述。基于提出的 MINIONS 数据集，我们设计了 SparseNet 框架，通过发现惯性传感器和视频的互补特征，探索使用单目摄像机和少量 IMU 实现消费级运动捕捉的可能性。实验结果强调了惯性传感器和视觉传感器的独特优势，展示了消费级多模态运动捕捉的前景，并为后续研究和开发提供了宝贵资源。
引用
@article{arxiv.2407.16341,
title = {Motion Capture from Inertial and Vision Sensors},
author = {Xiaodong Chen and Wu Liu and Qian Bao and Xinchen Liu and Ruoli Dai and Yongdong Zhang and Tao Mei},
journal= {arXiv preprint arXiv:2407.16341},
year = {2026}
}
备注
12 pages,8 figures