基于自我视角相机与加速度计数据的自主人体活动分类
计算机视觉与模式识别
2019-06-03 v1 图像与视频处理
摘要
依赖惯性测量单元（IMU）数据或提供第三人称视角的静态相机数据的人体活动分类研究已大量开展。仅使用 IMU 数据限制了可检测活动的多样性与复杂度。例如，坐姿活动可由 IMU 数据检测，但无法确定受试者坐在椅子还是沙发上，或其所在位置。为从自我中心视频执行细粒度活动分类，并区分仅由 IMU 数据无法区分的活动，我们提出了一种利用自我视角相机与 IMU 数据的自主且鲁棒的方法。与基于卷积神经网络的方法不同，我们提议采用胶囊网络从自我中心视频数据中提取特征。此外，卷积长短期记忆框架被同时用于自我中心视频与 IMU 数据以捕捉动作的时间特性。我们还提出了一种基于遗传算法的方法，以自主且系统地设置各种网络参数，而非使用手动设置。实验进行了 9 类与 26 类活动分类，所提方法使用自主设置的网络参数给出了非常有前景的结果，总体准确率分别达到 86.6% 与 77.2%。所提结合两种模态的方法相比仅用自我视角数据与仅用 IMU 数据也提供了更高的准确率。
引用
@article{arxiv.1905.13533,
title = {Autonomous Human Activity Classification from Ego-vision Camera and Accelerometer Data},
author = {Yantao Lu and Senem Velipasalar},
journal= {arXiv preprint arXiv:1905.13533},
year = {2019}
}
备注
Accepted for presentation at EPIC@CVPR2019 workshop