CoachMe：基于参考的教练指令生成模型用于解码运动元素
计算与语言
2025-09-16 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
运动指令是一项关键任务，通过分析动作并提供纠正性指导来帮助运动员精进技术。尽管多模态模型的最新进展改善了运动理解，但由于运动具有高度领域特异性以及需要信息丰富的指导，生成精确且针对特定运动的指令仍然具有挑战性。我们提出 CoachMe，一个基于参考的模型，在时间和物理层面分析学习者与参考之间的差异。该方法既支持领域知识学习，又有助于获得类似教练的思维过程，能够有效识别动作错误并提供反馈以解释如何改进。在本文中，我们展示了 CoachMe 如何通过从通用动作学习并利用有限数据，很好地适应滑冰和拳击等特定运动。实验表明，CoachMe 提供的是高质量指令，而非仅仅是教练语气但缺乏关键信息的指导。CoachMe 在花样滑冰的 G-Eval 评估中比 GPT-4o 高出 31.6%，在拳击上高出 58.3%。进一步分析证实，它在生成的指令中详细阐述了错误及其对应的改进方法。CoachMe 网址：https://motionxperts.github.io/
引用
@article{arxiv.2509.11698,
title = {CoachMe: Decoding Sport Elements with a Reference-Based Coaching Instruction Generation Model},
author = {Wei-Hsin Yeh and Yu-An Su and Chih-Ning Chen and Yi-Hsueh Lin and Calvin Ku and Wen-Hsin Chiu and Min-Chun Hu and Lun-Wei Ku},
journal= {arXiv preprint arXiv:2509.11698},
year = {2025}
}
备注
Published in Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2025. Official version: https://doi.org/10.18653/v1/2025.acl-long.1413