RICA2:基于评分规范、校准的动作质量评估
计算机视觉与模式识别
2024-08-08 v2
摘要
对动作执行得如何进行量化(即称为动作质量评估, AQA)的能力近期在视觉社区引起了关注。不幸的是,先前的方法往往忽视人类专家使用的评分规范,且不足以对模型预测的不确定性进行量化。为弥合这一差距,我们提出RICA^2 - 一个深度概率模型,集成评分规范并为AQA accounts for prediction uncertainty。我们方法的核心在于定义在编码评分规范的图结构上的动作步骤的随机嵌入。这些嵌入在潜在空间中展开概率密度,允许我们的方法表示模型不确定性。该图编码了评分标准,基于此可以解码质量得分。我们展示了该方法在公开基准测试(包括FineDiving、MTL-AQA和JIGSAWS)上建立了新的state of the art,在得分预测和不确定性校准方面性能卓越。我们的代码可在 https://abrarmajeedi.github.io/rica2_aqa/ 获取。
引用
@article{arxiv.2408.02138,
title = {RICA2: Rubric-Informed, Calibrated Assessment of Actions},
author = {Abrar Majeedi and Viswanatha Reddy Gajjala and Satya Sai Srinath Namburi GNVV and Yin Li},
journal= {arXiv preprint arXiv:2408.02138},
year = {2024}
}
备注
Accepted at European Conference on Computer Vision (ECCV) 2024