基于双时空卷积神经网络与三维注意力机制的乒乓球击球细粒度分类
计算机视觉与模式识别
2020-12-11 v1 人机交互
机器学习
多媒体
摘要
本文解决了视频中类间差异小的动作识别问题，例如乒乓球击球。采用双流“孪生”卷积神经网络，对RGB数据和光流均使用三维卷积。通过对时间窗口进行分类来识别动作。我们引入了三维注意力模块，并考察其对分类效率的影响。在运动员表现研究的背景下，考虑了一个乒乓球击球特定动作的语料库。在网络中使用注意力块加快了训练步骤，并使我们的孪生模型的分类分数提高了至多5%。我们对所获得特征的影响进行了可视化，并注意到注意力与运动员运动和位置之间的相关性。在语料库上对最先进的动作分类方法与带注意力块的所提方法进行了分数比较。带注意力块的所提模型优于不带注意力块的先前模型以及我们的基线。
引用
@article{arxiv.2012.05342,
title = {3D attention mechanism for fine-grained classification of table tennis strokes using a Twin Spatio-Temporal Convolutional Neural Networks},
author = {Pierre-Etienne Martin and Jenny Benois-Pineau and Renaud Péteri and Julien Morlier},
journal= {arXiv preprint arXiv:2012.05342},
year = {2020}
}