面向视频中人体运动行为自动评估的目标特定动作分类
计算机视觉与模式识别
2019-09-23 v1
摘要
对人体运动行为的客观监测与评估可以改善多种医疗状况的诊断和管理。在过去十年中，使用可穿戴技术在自由生活条件下连续监测人体运动行为方面取得了显著进展。然而，可穿戴技术仍然不适合需要监测和解释复杂运动行为（例如，涉及与环境的交互）的应用。计算机视觉和深度学习的最新进展为从视频记录中提取信息开辟了新的可能性。在本文中，我们提出了一种基于视觉的分层行为表型分析方法，用于对使用单个 RGB 相机拍摄的视频记录中的基本人体动作进行分类。我们的方法解决了在具有不同视场的变化环境中录制的视频中跟踪多个人体演员和进行动作分类的相关挑战。我们实现了一个级联姿态跟踪器，它利用检测之间的时间关系进行短期跟踪，并利用基于外观的轨迹片段融合进行长期跟踪。此外，对于动作分类，我们使用从级联姿态跟踪器导出的姿态演化图作为运动序列的低维且可解释的表示，用于训练卷积神经网络。该级联姿态跟踪器在我们的视频记录中跟踪目标人体演员的平均准确率达到 88%，整个系统在未修剪视频记录中对目标特定动作分类的平均测试准确率达到 84%。
引用
@article{arxiv.1909.09566,
title = {Target-Specific Action Classification for Automated Assessment of Human Motor Behavior from Video},
author = {Behnaz Rezaei and Yiorgos Christakis and Bryan Ho and Kevin Thomas and Kelley Erb and Sarah Ostadabbas and Shyamal Patel},
journal= {arXiv preprint arXiv:1909.09566},
year = {2019}
}
备注
This manuscript is under submission to the Sensors journal