M4Human: 大规模多模态毫米波雷达基准测试，用于人体网格重建
计算机视觉与模式识别
2026-03-31 v3
摘要
人体网格重建（HMR）提供了对人体与环境交互的直接洞察，从而支持各种沉浸式应用。虽然现有的大规模 HMR 数据集严重依赖视线 RGB 输入，但基于视觉的感知受到遮挡、光照变化和隐私问题的限制。为克服这些限制，近期研究探索了射频（RF）毫米波雷达用于隐私保护的室内人体感知。然而，当前的雷达数据集受到稀疏骨架标签、规模有限和简单原地动作的制约。为推进 HMR 研究社区的发展，我们引入了 M4Human，这是目前最大规模（661K 帧）的（比先前最大规模大 9 倍）多模态基准测试，包含高分辨率毫米波雷达、RGB 和深度数据。M4Human 同时提供原始雷达张量（RT）和处理后的雷达点云（RPC），以支持不同 RF 信号粒度层面的研究。M4Human 包含高质量的运动捕捉（MoCap）标注，包括 3D 网格和全局轨迹，涵盖 20 名受试者和 50 种多样化动作，包括原地动作、坐原地动作以及自由空间运动或康复训练动作。我们在 RT 和 RPC 模态上以及 RGB-D 多模态融合上建立了基准测试。广泛的结果凸显了 M4Human 对基于雷达的人体建模的重要意义，同时也揭示了在快速、无约束运动下持续存在的挑战。数据集和代码将在论文发表后发布。
引用
@article{arxiv.2512.12378,
title = {M4Human: A Large-Scale Multimodal mmWave Radar Benchmark for Human Mesh Reconstruction},
author = {Junqiao Fan and Yunjiao Zhou and Yizhuo Yang and Xinyuan Cui and Jiarui Zhang and Lihua Xie and Jianfei Yang and Chris Xiaoxuan Lu and Fangqiang Ding},
journal= {arXiv preprint arXiv:2512.12378},
year = {2026}
}