利用虚拟穿戴式加速度数据实现细粒度人体活动识别
计算机视觉与模式识别
2022-11-03 v1
摘要
先前工作表明，利用IMUTube等跨模态迁移方法从视频中提取的虚拟加速度计数据，有益于训练复杂而有效的人体活动识别（HAR）模型。诸如IMUTube的系统最初设计用于覆盖基于大幅身体（部位）运动的活动。然而，生活是复杂的，一系列日常活动仅基于相当细微的动作，这就带来了一个问题：像IMUTube这样的系统在细粒度HAR中在何种程度上具有价值，即IMUTube何时失效？在本工作中，我们首先引入一种定量评估感兴趣活动底层人体动作细微程度的度量——运动细微指数（MSI）——其捕捉目标虚拟传感器位置附近的局部像素运动和姿态变化，并将其与最终的活动识别准确率相关联。随后我们对IMUTube进行“压力测试”，探究对于底层细微运动的哪些活动跨模态迁移方法有效，哪些无效。因此，本文所呈现的工作使我们能够勾勒出IMUTube在实际场景中的应用版图。
引用
@article{arxiv.2211.01342,
title = {Fine-grained Human Activity Recognition Using Virtual On-body Acceleration Data},
author = {Zikang Leng and Yash Jain and Hyeokhyen Kwon and Thomas Plötz},
journal= {arXiv preprint arXiv:2211.01342},
year = {2022}
}