TechCoach：面向技术要点感知的描述性动作教学

为了指导学习者掌握动作技能，教练至关重要的是 1) 推理学习者的动作执行和技术要点（TechPoints），以及 2) 为什么做得好以及可以改进的地方提供详细且易于理解的反馈。然而，现有的基于评分的动作评估方法距离这一实际场景仍然遥远。为填补这一差距，我们研究了一种新任务，即描述性动作教学（Descriptive Action Coaching, DescCoach），该任务需要模型在动作执行的简单质量评分之外，提供关于做得好和可以改进的地方的详细评论。为此，我们构建了一个新的数据集，称为 EE4D-DescCoach。通过自动标注管道，我们的数据集超越了现有的动作评估数据集，提供了基于 TechPoint 级别的详细评论。此外，我们提出了 TechCoach，一个新的框架，显式地将 TechPoint 级别的推理融入 DescCoach 过程中。我们的方法的核心在于 Context-aware TechPoint Reasoner（基于上下文感知的技术要点推理器），该推理器使 TechCoach 能够通过查询视觉上下文，在 TechPoint 级别的教学评论监督下学习 TechPoint 相关的质量表示。利用视觉上下文和 TechPoint 相关的质量表示，随后会采用统一的 TechPoint-aware Action Assessor 来提供整体教学评论以及质量评分。结合所有这些，我们建立了一个新的 DescCoach 基准，through extensive experiments 评估了方法的有效性。该数据和代码将公开提供。