TSA-Net：用于动作质量评估的管道自注意力网络
计算机视觉与模式识别
2022-01-12 v1 多媒体
摘要
近年来，从视频中评估动作质量在计算机视觉界与人机交互中引起了越来越多的关注。大多数现有方法通常通过将模型直接从动作识别任务迁移来解决此问题，忽略了特征图内如前景与背景信息等的本质差异。为解决该问题，我们提出一种管道自注意力网络（TSA-Net）用于动作质量评估（AQA）。具体而言，我们将单目标跟踪器引入 AQA，并提出管道自注意力模块（TSA），其可通过采用稀疏特征交互高效生成丰富的时空上下文信息。TSA 模块被嵌入现有视频网络以形成 TSA-Net。总体而言，我们的 TSA-Net 具有以下优点：1）高计算效率，2）高灵活性，以及 3）最先进的性能。我们在流行的动作质量评估数据集（包括 AQA-7 和 MTL-AQA）上进行了充分实验。此外，提出了一个名为花样滑冰跌倒识别（FR-FS）的数据集，以探索花样滑冰场景中的基础动作评估。
引用
@article{arxiv.2201.03746,
title = {TSA-Net: Tube Self-Attention Network for Action Quality Assessment},
author = {Shunli Wang and Dingkang Yang and Peng Zhai and Chixiao Chen and Lihua Zhang},
journal= {arXiv preprint arXiv:2201.03746},
year = {2022}
}
备注
9 pages, 7 figures, conference paper