基于姿态与光流冰球时序动作识别
计算机视觉与模式识别
2018-12-27 v1
摘要
利用计算机视觉识别冰球中的动作因笨重装备与图像质量不佳而面临挑战。我们设计了一种新颖的双流框架，通过三个主要组件来提高冰球动作识别准确率。首先，通过 Part Affinity Fields 模型估计姿态，以从球员提取有意义线索。其次，使用光流（LiteFlowNet）提取时序特征。第三，将姿态与光流双流融合并送入全连接层以估计冰球球员的动作。我们创建了新的公开数据集 HARPET（Hockey Action Recognition Pose Estimation, Temporal），由冰球球员标注动作与姿态序列组成，并包含其冰球杆作为人体姿态的扩展。有三点贡献。（1）新颖双流架构达到 85% 动作识别准确率，加入光流使准确率提升约 10%。（2）将手持物体（如冰球杆）作为姿态一部分的独特定位使准确率提升约 13%。（3）对于姿态估计，更大更通用的数据集 MSCOCO 被成功用于向更小更特定的数据集 HARPET 迁移学习，取得 87% 的 PCKh。
引用
@article{arxiv.1812.09533,
title = {Temporal Hockey Action Recognition via Pose and Optical Flows},
author = {Zixi Cai and Helmut Neher and Kanav Vats and David Clausi and John Zelek},
journal= {arXiv preprint arXiv:1812.09533},
year = {2018}
}