你表现如何、表现得多好？一种用于动作质量评估的多任务学习方法
计算机视觉与模式识别
2019-06-17 v2
摘要
能否通过利用动作及其质量的描述来改进动作质量评估（AQA）任务的性能？当前的 AQA 与技能评估方法提议仅服务于单一任务——估计最终分数——来学习特征。本文中，我们提议学习可解释三个相关任务的时空特征：细粒度动作识别、解说生成以及估计 AQA 分数。我们收集了一个新的多任务 AQA 数据集（迄今为止最大），包含 1412 个跳水样本，用以评估我们的方法（https://github.com/ParitoshParmar/MTL-AQA）。我们表明，使用两种不同的架构 C3D-AVG 和 MSCADC，我们的 MTL 方法均优于 STL 方法。C3D-AVG-MTL 方法以 90.44% 的秩相关达到了新的 SOTA 性能。我们进行了详尽的实验以表明 MTL 比 STL 具有更好的泛化能力，且来自动作识别模型的表征不足以用于 AQA 任务，而应被学习得到。
引用
@article{arxiv.1904.04346,
title = {What and How Well You Performed? A Multitask Learning Approach to Action Quality Assessment},
author = {Paritosh Parmar and Brendan Tran Morris},
journal= {arXiv preprint arXiv:1904.04346},
year = {2019}
}
备注
CVPR 2019. Dataset temporarily made available at https://github.com/ParitoshParmar/MTL-AQA