细粒度体育、瑜伽与舞蹈姿态识别：一项基准分析
计算机视觉与模式识别
2023-08-02 v1
摘要
人体姿态估计是计算机视觉中的复杂问题。近期研究兴趣尤其拓展至体育、瑜伽与舞蹈（SYD）姿态以维持健康。SYD 姿态类别因身体部位的复杂运动而被视为细粒度图像分类任务。深度卷积神经网络（CNNs）在解决各类人体姿态估计问题上取得了显著改进。尽管利用深度学习技术在瑜伽姿态识别上已取得不错进展，细粒度体育与舞蹈识别仍亟需充分研究关注。然而，目前尚无具备充足类间与类内差异的公开基准图像数据集来解决体育与舞蹈姿态分类问题。为解决此局限，我们提出了两个图像数据集，一个含 102 个体育类别，另一个含 12 种舞蹈风格。并收集了两个公开数据集：含 82 类的 Yoga-82 与含 107 类的 Yoga-107 用于瑜伽姿态。这四个 SYD 数据集在提出的深度模型 SYD-Net 上实验，该模型在标准骨干 CNNs 之上集成了基于块的注意力（PbA）机制。PbA 模块利用自注意力机制从一组均匀与多尺度块中学习上下文信息，并强调判别性特征以理解块间语义关联。此外，应用随机擦除数据增强以提升性能。所提 SYD-Net 在 Yoga-82 上利用五种基础 CNN 取得了最先进准确率。SYD-Net 在其他数据集上的准确率同样出色，表明其高效性。我们的 Sports-102 与 Dance-12 数据集公开于 https://sites.google.com/view/syd-net/home。
引用
@article{arxiv.2308.00323,
title = {Fine-Grained Sports, Yoga, and Dance Postures Recognition: A Benchmark Analysis},
author = {Asish Bera and Mita Nasipuri and Ondrej Krejcar and Debotosh Bhattacharjee},
journal= {arXiv preprint arXiv:2308.00323},
year = {2023}
}
备注
12 pages, 12 figures, 10 tables