基于 Transformer 的动作质量评估
计算机视觉与模式识别
2022-07-26 v1 机器学习
摘要
动作质量评估（AQA）是基于视频应用中的一个活跃研究问题，由于每帧得分方差大，是一项具有挑战性的任务。现有方法通过基于卷积的方法解决该问题，但受限于其有效捕捉长程依赖的能力。随着近期 Transformer 的进展，我们表明它们是传统基于卷积架构的合适替代。具体而言，基于 Transformer 的模型能否通过有效捕捉长程依赖、并行化计算并为跳水视频提供更广感受野来解决 AQA 任务？为证明我们所提架构的有效性，我们进行了综合实验，取得了 0.9317 的竞争性 Spearman 相关系数。此外，我们探究了超参数对模型性能的影响，并为在 AQA 中利用 Transformer 开辟了新路径。
引用
@article{arxiv.2207.12318,
title = {Action Quality Assessment using Transformers},
author = {Abhay Iyer and Mohammad Alali and Hemanth Bodala and Sunit Vaidya},
journal= {arXiv preprint arXiv:2207.12318},
year = {2022}
}
备注
9 pages, 2 figures