CROMOSim：一种基于深度学习的跨模态惯性测量模拟器
信号处理
2022-02-23 v1 机器学习
摘要
随着可穿戴设备的普及，惯性测量单元（IMU）数据已被用于人体活动识别（HAR）等人体运动监测与评估。为这些任务训练深度神经网络（DNN）模型需要大量标注数据，而在非受控环境中难以获取。为缓解数据稀缺问题，我们设计了 CROMOSim，一种跨模态传感器模拟器，可从动作捕捉系统或单目 RGB 相机模拟高保真虚拟 IMU 传感器数据。它利用蒙皮多人线性模型（SMPL）进行三维身体姿态与形状表示，从而支持从任意佩戴位置进行模拟。我们训练了一个 DNN 模型，用于学习从三维 SMPL 身体三角网格中因测量噪声、标定误差、遮挡及其他建模伪影导致的不完美轨迹估计到 IMU 数据的函数映射。我们评估了 CROMOSim 模拟数据的保真度及其在多种 HAR 数据集上用于数据增强的效用。大量实验结果表明，所提模型在 HAR 任务上相较基线方法取得了 6.7% 的提升。
引用
@article{arxiv.2202.10562,
title = {CROMOSim: A Deep Learning-based Cross-modality Inertial Measurement Simulator},
author = {Yujiao Hao and Boyu Wang and Rong Zheng},
journal= {arXiv preprint arXiv:2202.10562},
year = {2022}
}