Video2IMU:从视频生成逼真的 IMU 特征与信号
计算机视觉与模式识别
2022-02-15 v1
摘要
基于可穿戴传感器数据的人体活动识别(HAR)用于在无约束环境中识别运动或活动。HAR 是一个具有挑战性的问题,因为其在不同受试者间呈现巨大差异。获取大量标注数据并非易事,因为可穿戴传感器信号难以通过简单人工检视来标注。在我们的工作中,我们提出使用神经网络,利用人体活动单目视频生成逼真的信号与特征。我们展示了这些生成的特征与信号如何能够替代真实对应物,用于训练可借助可穿戴传感器所获信号识别活动的 HAR 模型。为证明方法的有效性,我们在一个为改善工业工作安全而创建的活动识别数据集上进行了实验。我们表明,我们的模型能够逼真地生成虚拟传感器信号与特征,可用于训练 HAR 分类器,其性能与用真实传感器数据训练的分类器相当。我们的结果使得可利用现成的已标注视频数据来训练 HAR 模型,以对来自可穿戴传感器的信号进行分类。
引用
@article{arxiv.2202.06547,
title = {Video2IMU: Realistic IMU features and signals from videos},
author = {Arttu Lämsä and Jaakko Tervonen and Jussi Liikka and Constantino Álvarez Casado and Miguel Bordallo López},
journal= {arXiv preprint arXiv:2202.06547},
year = {2022}
}
备注
5 pages, 2 figures