利用双流卷积网络结合 RGB 与姿态信息的细粒度动作检测
计算机视觉与模式识别
2023-02-07 v1 人工智能
机器学习
多媒体
摘要
作为 MediaEval 2022 体育任务的参赛者,我们提出了一种双流网络方法,用于乒乓球击球动作的分类与检测。每个流均由使用注意力机制的 3D 卷积神经网络 (CNN) 模块序列组成。每个流处理不同的 4D 输入。我们的方法利用了原始 RGB 数据以及由 MMPose 工具箱计算得到的姿态信息。姿态信息通过将姿态应用于黑色背景或计算其所在的原始 RGB 帧上,从而被视为图像。将原始 RGB 数据输入一个流,将姿态 + RGB (PRGB) 信息输入另一个流,并对特征进行后期融合,获得了最佳性能。所提方法在提供的 TTStroke-21 数据集上进行了评估。我们报告了击球分类的改进,准确率达到 87.3%,而检测虽未超过基线,但仍达到了 0.349 的 IoU 和 0.110 的 mAP。
引用
@article{arxiv.2302.02755,
title = {Fine-Grained Action Detection with RGB and Pose Information using Two Stream Convolutional Networks},
author = {Leonard Hacker and Finn Bartels and Pierre-Etienne Martin},
journal= {arXiv preprint arXiv:2302.02755},
year = {2023}
}
备注
Working note paper of the sport task of MediaEval 2022 in Bergen, Norway, 12-13 Jan 2023