MM-Fi：面向通用无线感知的多模态非侵入式4D人体数据集
信号处理
2023-09-26 v2 人工智能
计算机视觉与模式识别
多媒体
摘要
4D人体感知在众多应用中起着至关重要的作用，例如家庭自动化与元宇宙化身仿真。然而，主要依赖摄像头与可穿戴设备的现有方案要么侵犯隐私，要么使用不便。为解决这些问题，无线感知作为一种有前景的替代方案应运而生，其利用LiDAR、毫米波雷达与WiFi信号进行无设备人体感知。在本文中，我们提出MM-Fi，首个具有27类日常或康复动作的多模态非侵入式4D人体数据集，以弥合无线感知与高层人体感知任务之间的鸿沟。MM-Fi包含来自40名受试者的五种模态超过32万同步帧。提供多种标注以支持潜在感知任务，例如人体姿态估计与动作识别。我们进行了大量实验，以多个任务比较各单一或多种模态的感知能力。我们期望MM-Fi能在动作识别、人体姿态估计、多模态学习、跨模态监督及跨学科医疗研究方面推动无线感知研究。
引用
@article{arxiv.2305.10345,
title = {MM-Fi: Multi-Modal Non-Intrusive 4D Human Dataset for Versatile Wireless Sensing},
author = {Jianfei Yang and He Huang and Yunjiao Zhou and Xinyan Chen and Yuecong Xu and Shenghai Yuan and Han Zou and Chris Xiaoxuan Lu and Lihua Xie},
journal= {arXiv preprint arXiv:2305.10345},
year = {2023}
}
备注
The paper has been accepted by NeurIPS 2023 Datasets and Benchmarks Track. Project page: https://ntu-aiot-lab.github.io/mm-fi