IMUTube：从视频中自动提取虚拟穿戴式加速度计数据用于人体活动识别
计算机视觉与模式识别
2020-08-05 v2 图像与视频处理
摘要
大规模标注数据的缺乏阻碍了基于穿戴式传感器的人体活动识别（HAR）中鲁棒且可泛化预测模型的发展。人体活动识别中的标注数据稀缺且难以获取，因为传感器数据收集成本高昂，而标注耗时且易出错。为解决这一问题，我们提出了 IMUTube，一种自动化处理流水线，它集成现有的计算机视觉与信号处理技术，将人体活动视频转换为虚拟的 IMU 数据流。这些虚拟 IMU 流代表了人体身体上多种位置的加速度计数据。我们展示了虚拟生成的 IMU 数据如何提升多种模型在已知 HAR 数据集上的性能。我们的初步结果非常令人鼓舞，但这项工作更大的前景在于计算机视觉、信号处理与活动识别领域的社区采取集体方式，按照我们 outlined 的途径扩展此项工作。这应能使基于穿戴式传感器的 HAR 成为大规模数据集突破识别的又一成功范例。
引用
@article{arxiv.2006.05675,
title = {IMUTube: Automatic Extraction of Virtual on-body Accelerometry from Video for Human Activity Recognition},
author = {Hyeokhyen Kwon and Catherine Tong and Harish Haresamudram and Yan Gao and Gregory D. Abowd and Nicholas D. Lane and Thomas Ploetz},
journal= {arXiv preprint arXiv:2006.05675},
year = {2020}
}