SportSkills: 从运动指令视频中学习身体技能
计算机视觉与模式识别
2026-03-27 v1
摘要
当前大规模视频数据集专注于一般人类活动，但缺乏针对身体技能学习所需的深度覆盖。我们引入 SportSkills，首个面向身体技能学习的大规模运动数据集，包含大量野外视频。SportSkills 包含超过 36 万条 instructional 视频，配有超过 63 万个视觉演示示，以及来自 55 种不同运动的 instructional narrations，解释了动作背后的专业知识。通过一系列实验，我们表明 SportSkills 能够理解身体动作之间的细微差别。我们的表示方法在使用传统活动导向数据集训练的相同模型上，实现了最高可达 4 倍的提升。关键在于，基于 SportSkills，我们提出首个大规模的错误条件 instructional 视频检索任务，连接表示学习与可操作反馈生成（例如：“我的动作执行情况如何；我应该观看哪段视频来改进它？”）。专业教练的正式评估表明，我们的检索方法显著提升了视频模型为用户查询生成个性化视觉指令的能力。
引用
@article{arxiv.2603.25163,
title = {SportSkills: Physical Skill Learning from Sports Instructional Videos},
author = {Kumar Ashutosh and Chi Hsuan Wu and Kristen Grauman},
journal= {arXiv preprint arXiv:2603.25163},
year = {2026}
}
备注
Technical report