基于时空 Transformer 的教育场景人体姿态评估与纠正框架
计算机视觉与模式识别
2023-11-02 v1 人工智能
摘要
人体姿态评估与纠正在计算机视觉、机器人、运动分析、医疗与娱乐等多个领域的应用中起着关键作用。本文中，我们提出了一种基于时空 Transformer 的框架（STTF），用于体育锻炼与科学实验等教育场景下的人体姿态评估与纠正。该框架包含骨骼追踪、姿态估计、姿态评估与姿态纠正模块，以向学提供专业、可快速修正的反馈。我们还创建了一种姿态纠正方法，以视觉辅助形式提供纠正反馈。我们使用自有数据集测试该框架。数据集包含（a）五项运动的全新录制，（b）互联网上相同运动的已有录制，以及（c）专业运动员与教师对录制的纠正反馈。结果表明，我们的模型能有效衡量并评价学生动作质量。STTF 利用 Transformer 模型的能力捕捉人体姿态中的空间与时间依赖，从而实现对学生动作的准确性评估与有效纠正。
引用
@article{arxiv.2311.00401,
title = {A Spatial-Temporal Transformer based Framework For Human Pose Assessment And Correction in Education Scenarios},
author = {Wenyang Hu and Kai Liu and Libin Liu and Huiliang Shang},
journal= {arXiv preprint arXiv:2311.00401},
year = {2023}
}