面向训练动作评估的域知识驱动自监督表示
计算机视觉与模式识别
2022-10-24 v2 人工智能
人机交互
机器学习
摘要
锻炼时保持正确姿势对于预防损伤和最大化肌肉增益十分重要。检测训练动作中的错误自然需要估计人体姿态。然而，现成的姿态估计器在健身房场景所录视频上表现不佳，原因包括相机角度、健身器材遮挡、光照与衣着等。更棘手的是，待检测的训练错误非常细微。为此，我们提出从无标注样本中学习面向锻炼的图像与视频表示，使得专家标注的小数据集足以进行有监督错误检测。具体而言，我们的域知识驱动自监督方法（姿态对比学习与运动解耦）利用了锻炼动作的谐波运动，并借助相机角度、衣着与光照的大幅差异学习强表示。为便于自监督预训练与有监督微调，我们整理了新的锻炼数据集 \emph{Fitness-AQA}（\url{https://github.com/ParitoshParmar/Fitness-AQA}），包含三项锻炼：BackSquat、BarbellRow 与 OverheadPress。该数据集由专业教练标注了多种关键且典型发生的锻炼错误。实验结果表明，我们的自监督表示优于现成的 2D 与 3D 姿态估计器及若干其他基线。我们还展示了我们的方法可应用于其他领域/任务，如姿态估计与跳水质量评估。
引用
@article{arxiv.2202.14019,
title = {Domain Knowledge-Informed Self-Supervised Representations for Workout Form Assessment},
author = {Paritosh Parmar and Amol Gharat and Helge Rhodin},
journal= {arXiv preprint arXiv:2202.14019},
year = {2022}
}