细粒度动作分析：一个花样滑冰的多模态多任务数据集
计算机视觉与模式识别
2024-04-10 v3 人工智能
摘要
现有动作数据集的细粒度动作分析受到动作类别不足、细粒度低、模态与任务有限的挑战。本文提出一个收集自世界花样滑冰锦标赛的多模态多任务花样滑冰数据集（MMFS）。MMFS 具有动作识别与动作质量评估功能，捕获 RGB、骨架模态，并从 11671 个片段中收集了含空间与时间标签的 256 类动作分数。我们数据集的关键贡献如下三方面：（1）首次提出独立空间与时间类别，以进一步探索细粒度动作识别与质量评估；（2）MMFS 首次引入骨架模态用于复杂细粒度动作质量评估；（3）我们的多模态多任务数据集鼓励更多动作分析模型。为对数据集进行基准测试，我们采用基于 RGB 与基于骨架的基线方法用于动作识别与动作质量评估。
引用
@article{arxiv.2307.02730,
title = {Fine-grained Action Analysis: A Multi-modality and Multi-task Dataset of Figure Skating},
author = {Sheng-Lan Liu and Yu-Ning Ding and Gang Yan and Si-Fan Zhang and Jin-Rong Zhang and Wen-Yue Chen and Xue-Hai Xu},
journal= {arXiv preprint arXiv:2307.02730},
year = {2024}
}