利用加权聚合改进动作质量评估
计算机视觉与模式识别
2022-04-28 v2
摘要
动作质量评估(AQA)旨在基于所述动作的视频自动评判人类动作并为其分配表现分数。现有AQA文献中的多数工作将RGB视频分割为短片段,使用三维卷积(C3D)网络将这些片段转换为更高层表示,并通过平均进行聚合。这些更高层表示用于执行AQA。我们发现当前的片段级特征平均聚合技术不足以捕捉片段级特征的相对重要性。在本工作中,我们提出一种基于学习的加权平均技术。使用该技术可在不牺牲过多计算资源的情况下获得更好性能。我们称该技术为权重判定器(WD)。我们还尝试使用ResNet学习更好的动作质量评估表示。我们评估了卷积神经网络的深度和输入片段大小对动作分数预测质量的影响。我们在MTL-AQA数据集上使用具有处理32帧片段能力的34层(2+1)D ResNet与WD聚合,实现了0.9315的新的最先进斯皮尔曼秩相关(提升0.45%)。
引用
@article{arxiv.2102.10555,
title = {Improving Action Quality Assessment using Weighted Aggregation},
author = {Shafkat Farabi and Hasibul Himel and Fakhruddin Gazzali and Md. Bakhtiar Hasan and Md. Hasanul Kabir and Moshiur Farazi},
journal= {arXiv preprint arXiv:2102.10555},
year = {2022}
}
备注
Accepted for presentation at the IbPRIA 2022: 10th Iberian Conference on Pattern Recognition and Image Analysis Aveiro, Portugal. May 4-6, 2022