面向全面且可解释的动作质量评估的层次化神经符号方法

动作质量评估（AQA）应用计算机视觉来定量评估人类动作的表现或执行情况。当前的 AQA 方法是端到端的神经模型，缺乏透明度，并且由于它们是基于主观的人类判断作为真实值进行训练的，因此往往存在偏差。为了解决这些问题，我们引入了一种用于 AQA 的神经符号范式，该范式使用神经网络从视频数据中抽象出可解释的符号，并通过将规则应用于这些符号来进行质量评估。我们以跳水作为案例研究。我们发现，领域专家更偏好我们的系统，并认为它比纯神经方法的跳水 AQA 更具信息量。我们的系统还实现了最先进的动作识别和时间分割，并自动生成一份详细的报告，将跳水动作分解为其组成元素，并提供带有视觉证据的客观评分。经一组领域专家验证，该报告可用于辅助裁判评分、帮助培训裁判以及向跳水运动员提供反馈。标注训练数据和代码：https://github.com/laurenok24/NSAQA。