FineDiving：面向过程感知动作质量评估的细粒度数据集
计算机视觉与模式识别
2022-04-08 v1
摘要
现有大多数动作质量评估方法依赖整个视频的深度特征来预测分数，由于推理过程不透明且可解释性差，这种方法可靠性较低。我们认为，理解竞技体育视频中动作的高层语义和内部时序结构是使预测准确且可解释的关键。为此，我们构建了一个新的细粒度数据集FineDiving，基于多样化的跳水赛事，并带有详细的动作过程标注。我们还提出了一种过程感知的动作质量评估方法，通过一个新的时序分割注意力模块进行学习。具体而言，我们提出将成对的查询和示例动作实例解析为具有不同语义和时序对应关系的连续步骤。过程感知交叉注意力被提出用于学习查询步骤和示例步骤之间的嵌入，以发现它们的语义、空间和时序对应关系，并进一步服务于细粒度对比回归，从而推导出可靠的评分机制。大量实验表明，我们的方法相比现有最先进方法取得了显著提升，且具有更好的可解释性。数据集和代码见https://github.com/xujinglin/FineDiving。
引用
@article{arxiv.2204.03646,
title = {FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality Assessment},
author = {Jinglin Xu and Yongming Rao and Xumin Yu and Guangyi Chen and Jie Zhou and Jiwen Lu},
journal= {arXiv preprint arXiv:2204.03646},
year = {2022}
}
备注
Computer Vision and Pattern Recognition 2022 (Oral presentation)