依然在动：从通用运动中学习以由 YouTube 视频生成 IMU 数据
人工智能
2020-11-24 v1 计算机视觉与模式识别
机器学习
摘要
使用可穿戴传感器的人体活动识别（HAR）从近期机器学习进展中获益的程度，远不及计算机视觉与自然语言处理等领域。这在很大程度上归因于缺乏大规模带标签训练数据仓储。我们的研究旨在便利在线视频的利用——这类视频对大多数活动而言数量充足且比传感器数据更易标注——以模拟带标签的可穿戴运动传感器数据。在先前工作中，我们已展示该方向的若干初步结果，聚焦于非常简单的、特定活动的仿真模型与单一传感器模态（加速度模长）\cite{10.1145/3341162.3345590}。本文中，我们展示如何在一个回归模型上基于通用运动对加速度计与陀螺仪信号进行训练，随后将其应用于目标活动的视频以生成合成 IMU 数据（加速度与陀螺仪模长），可用于训练及/或改进 HAR 模型。我们证明，基于我们回归模型生成的仿真数据训练的系统，其平均 F1 分数可达到基于真实传感器数据训练系统的约 90%。进一步，我们展示通过纳入少量真实传感器数据用于模型校准，或仅利用以下事实——（通常）我们可轻易从视频生成远多于真实传感器数据可收集量的仿真数据——真实传感器数据的优势最终可被抹平。
引用
@article{arxiv.2011.11600,
title = {Yet it moves: Learning from Generic Motions to Generate IMU data from YouTube videos},
author = {Vitor Fortes Rey and Kamalveer Kaur Garewal and Paul Lukowicz},
journal= {arXiv preprint arXiv:2011.11600},
year = {2020}
}