mmBody 基准：面向毫米波雷达的 3D 人体重建数据集与分析
计算机视觉与模式识别
2023-09-22 v3
摘要
毫米波（mmWave）雷达正日益普及，因为它可在烟雾、雨雪、弱光等恶劣环境中工作。已有工作探索了从噪声大且稀疏的毫米波雷达信号重建 3D 骨架或网格的可能性。然而，跨场景从毫米波信号重建 3D 人体的精度如何，以及与相机相比表现怎样，仍不清楚；而无论单独使用毫米波雷达还是将其与相机结合，这些都是需要考虑的重要方面。为回答这些问题，我们首先设计了一套带多传感器的自动 3D 人体标注系统，以收集大规模数据集。该数据集包含不同场景中同步且标定过的毫米波雷达点云与 RGB(D) 图像，以及场景中人的骨架/网格标注。基于该数据集，我们使用来自不同传感器的输入训练最先进的方法，并在多种场景中测试。结果表明：1）尽管生成的点云有噪声且稀疏，毫米波雷达可达到比 RGB 相机更好的重建精度，但逊于深度相机；2）毫米波雷达的重建受恶劣天气条件影响适中，而 RGB(D) 相机受严重影响。进一步，对数据集与结果的分析为改进毫米波雷达重建及多传感器信号融合提供了见解。
引用
@article{arxiv.2209.05070,
title = {mmBody Benchmark: 3D Body Reconstruction Dataset and Analysis for Millimeter Wave Radar},
author = {Anjun Chen and Xiangyu Wang and Shaohao Zhu and Yanxu Li and Jiming Chen and Qi Ye},
journal= {arXiv preprint arXiv:2209.05070},
year = {2023}
}
备注
Accepted to ACM Multimedia 2022, Project Page: https://chen3110.github.io/mmbody/index.html