通过双流Mamba金字塔网络学习长程动作表示以进行花样滑冰评估
计算机视觉与模式识别
2025-08-25 v1 多媒体
摘要
花样滑冰中的技术元素分 (TES) 和节目内容分 (PCS) 评估分别要求对运动动作和艺术表现进行精确评估。现有方法面临三个主要挑战。首先，在以往工作中，视频和音频线索被视为 TES 和 PCS 预测的共同特征，而未考虑花样滑冰的先验评估标准。其次，比赛中的动作元素在时间上是分离的，TES 应从每个元素的得分推导而来，但现有方法试图在不评估每个动作元素的情况下给出总体 TES 预测。第三，冗长的比赛视频使得处理长程上下文变得困难且低效。为解决这些挑战，我们提出了一种双流 Mamba 金字塔网络，该网络符合实际评判标准，通过分离基于视觉特征的 TES 评估流和基于音视频特征的 PCS 评估流来预测 TES 和 PCS。在 PCS 评估流中，我们引入了一种多级融合机制，以保证在评估 TES 时基于视频的特征不受影响，并通过在金字塔的每个上下文层级融合视觉和听觉线索来增强 PCS 估计。在 TES 评估流中，我们提出的多尺度 Mamba 金字塔和 TES 头有效解决了定位和评估具有各种时间尺度的动作元素的挑战，并给出得分预测。凭借 Mamba 捕获长程依赖关系的卓越能力及其线性计算复杂度，我们的方法非常适合处理冗长的花样滑冰视频。全面的实验证明我们的框架在 FineFS 基准上达到了最先进的性能。我们的源代码可在 https://github.com/ycwfs/Figure-Skating-Action-Quality-Assessment 获取。
引用
@article{arxiv.2508.16291,
title = {Learning Long-Range Action Representation by Two-Stream Mamba Pyramid Network for Figure Skating Assessment},
author = {Fengshun Wang and Qiurui Wang and Peilin Zhao},
journal= {arXiv preprint arXiv:2508.16291},
year = {2025}
}