MMVP：基于视觉与压力传感器的多模态动作捕捉数据集
计算机视觉与模式识别
2024-04-02 v2
摘要
脚部接触是人类运动捕捉、理解和生成中的重要线索。现有数据集倾向于使用视觉匹配加阈值或融合压力信号对脚部接触进行密集标注。然而，这些方法要么准确率较低，要么仅针对小范围和缓慢运动设计。仍缺乏面向大范围和快速人类运动的数据集，以及准确和密集的脚部接触标注。为填补这一空白，我们提出一种基于视觉与压力传感器的多模态动作捕捉数据集，命名为 MMVP。MMVP 提供与 RGBD 观测同步的准确密集的足底压力信号，尤其适用于合理的形状估计、稳健的姿态拟合（无脚部漂移）以及准确的全局平移跟踪。为验证该数据集，我们提出了一种 RGBD-P SMPL 拟合方法，也提出了一种基于单目视频的基线框架 VP-MoCap，用于人类运动捕捉。实验表明，RGBD-P SMPL 拟合结果显著优于纯视觉运动捕捉。此外，VP-MoCap 在脚部接触和全局平移估计精度方面均优于最新方法。我们认为该数据集的配置以及基线框架将刺激该方向的研究，也为 MoCap 在各个领域的应用提供良好参考。项目页面：https://metaverse-ai-lab-thu.github.io/MMVP-Dataset/。
引用
@article{arxiv.2403.17610,
title = {MMVP: A Multimodal MoCap Dataset with Vision and Pressure Sensors},
author = {He Zhang and Shenghao Ren and Haolei Yuan and Jianhui Zhao and Fan Li and Shuangpeng Sun and Zhenghao Liang and Tao Yu and Qiu Shen and Xun Cao},
journal= {arXiv preprint arXiv:2403.17610},
year = {2024}
}
备注
CVPR2024