基于层次化引导姿态的多阶段对比回归动作质量评估
计算机视觉与模式识别
2025-10-27 v2 人工智能
摘要
动作质量评估 (Action Quality Assessment, AQA) 旨在自动公平评估运动员表现，近年来受到广泛关注。然而，运动员常处于快速运动中，其视觉外观差异微小，导致难以捕捉细粒度姿态差异，从而产生较差的估计性能。此外，大多数常见的 AQA 任务（如体育 diving）通常被划分为多个子动作，每个子动作包含不同时长。然而，现有方法关注将视频分割为固定帧，破坏了子动作的时间连续性，导致不可避免的预测误差。为此，我们提出一种通过层次化姿态引导的多阶段对比回归方法进行动作质量评估。首先，我们引入多尺度动态视觉-骨骼编码器，以捕捉细粒度的时空视觉与骨骼特征。随后，引入过程分割网络，以分离不同子动作并获取分割特征。随后，将分割后的视觉与骨骼特征输入多模态融合模块，作为物理结构先验，以引导模型学习更精细的活动相似性与差异。最后，采用多阶段对比学习回归，以学习判别性表征并输出预测结果。此外，我们引入全新的 FineDiving-Pose 数据集，以改善当前低质量人体姿态标签的水平。在实验中，我们在 FineDiving 和 MTL-AQA 数据集上的结果表明，我们的方法在有效性与优越性方面具有显著优势。我们的源代码与数据集已公开于 https://github.com/Lumos0507/HP-MCoRe。
引用
@article{arxiv.2501.03674,
title = {Action Quality Assessment via Hierarchical Pose-guided Multi-stage Contrastive Regression},
author = {Mengshi Qi and Hao Ye and Jiaxuan Peng and Huadong Ma},
journal= {arXiv preprint arXiv:2501.03674},
year = {2025}
}