YourSkatingCoach：用于细粒度动作分析的花样滑冰视频基准
计算机视觉与模式识别
2024-10-31 v2
摘要
结合体育与机器学习需要利用机器学习算法和技术从体育相关数据（如运动员统计数据、比赛录像和其他相关信息）中提取洞见。然而，文献中与花样滑冰相关的数据集主要侧重于动作分类，且目前不可用或仅提供有限访问权限，这极大地提高了为其开发视觉体育技术的准入门槛。此外，当使用此类数据帮助运动员提高技能时，我们发现它们非常粗粒度：它们适用于学习什么是某个动作，但不适合学习该动作的好坏。在此我们提出滞空时间检测，这是一项新颖的运动分析任务，其目标是准确检测跳跃的滞空时间持续时间。我们提出了 YourSkatingCoach，这是一个大型新颖的花样滑冰数据集，包含 454 个跳跃动作视频、每个视频中检测到的滑冰者骨架，以及每次跳跃起始帧和结束帧的金标准标签，共同作为花样滑冰的视频基准。此外，尽管此类任务通常被视为分类问题，我们将其转化为序列标注问题，并提出一个基于 Transformer 的模型来计算持续时间。实验结果表明，所提出的模型对于强基线产生了良好的结果。为了进一步验证细粒度标签的泛化能力，我们将相同的过程应用于其他体育项目作为跨体育任务，但用于粗粒度的任务动作分类。在这里我们对分类进行微调，以证明花样滑冰由于包含基本的身体动作，构成了适应其他体育项目的坚实基础。
引用
@article{arxiv.2410.20427,
title = {YourSkatingCoach: A Figure Skating Video Benchmark for Fine-Grained Element Analysis},
author = {Wei-Yi Chen and Yi-Ling Lin and Yu-An Su and Wei-Hsin Yeh and Lun-Wei Ku},
journal= {arXiv preprint arXiv:2410.20427},
year = {2024}
}