ExpertAF：从视频中生成专业可操作反馈

反馈对学习新技能或提升现有技能至关重要。然而，现有视频技能评估方法仅提供评分或比较示范，使用户必须自行承担确定性改进措施的责任。我们引入一种新方法，从人物进行身体活动（如篮球或足球）的视频中生成可操作的专业反馈。该方法接受视频示范及其伴随的3D身体姿态输入，生成（1）描述该人做得好与可改进之处的自由形式专业评论，以及（2）包含所需纠正措施的视觉专业示范。我们展示如何利用 Ego-Exo4D 的技能活动视频与专业评论，结合强大语言模型创建弱监督训练数据集，并构建一种多模态视频语言模型以推断教练反馈。该方法能够对多模态输入组合进行推理，输出完整spectrum的可操作教练专家评论、专家视频检索与专家姿态生成，在 established metrics 与人类偏好研究中超越强大的视觉语言模型。