用于动作质量评估的分数分布自编码回归
计算机视觉与模式识别
2022-09-01 v2
摘要
视频的动作质量评估(AQA)是一项具有挑战性的视觉任务,因为视频与动作分数之间的关系难以建模。因此,AQA在文献中已被广泛研究。传统上,AQA被视为一个回归问题,以学习视频与动作分数之间的潜在映射。但以往方法忽略了AQA数据集中的数据不确定性。为处理偶然不确定性,我们进一步开发了一个即插即用模块分布自编码器(DAE)。具体而言,它将视频编码为分布,并利用变分自编码器(VAE)中的重参数化技巧对分数进行采样,从而建立视频与分数之间更精确的映射。同时,使用似然损失来学习不确定性参数。我们将DAE方法插入MUSDL和CoRe中。在公开数据集上的实验结果表明,我们的方法在AQA-7、MTL-AQA和JIGSAWS数据集上达到了最先进水平。我们的代码可在https://github.com/InfoX-SEU/DAE-AQA获取。
引用
@article{arxiv.2111.11029,
title = {Auto-Encoding Score Distribution Regression for Action Quality Assessment},
author = {Boyu Zhang and Jiayuan Chen and Yinfei Xu and Hui Zhang and Xu Yang and Xin Geng},
journal= {arXiv preprint arXiv:2111.11029},
year = {2022}
}