从连续视频片段中提取与分类跳水动作

由于技术的近期进步，视频数据的记录与分析已成为运动员训练计划中日益普遍的组成部分。如今，设置固定摄像机并记录跳水、体操、高尔夫、网球等多种运动中的运动员非常容易且成本低廉。然而，对所获片段的人工分析是一项耗时的任务，涉及隔离感兴趣的动作并使用领域特定知识对其进行分类。为了自动化这类任务，通常面临三个具有挑战性的子问题：1) 从连续视频中时间裁剪感兴趣的事件/动作；2) 跟踪感兴趣的对象；3) 对感兴趣的事件/动作进行分类。以往大多数工作仅孤立地关注解决上述子问题之一。相比之下，本文在一个具有挑战性的真实世界示例背景下，为整体动作监控任务提供了完整的解决方案。具体而言，我们解决了跳水分类问题。这是一个具有挑战性的问题，因为感兴趣的人（跳水者）通常占据每帧像素的不到 1%。模型需要学习跳水动作的时间边界，即使其他跳水者和旁观者可能在视野中。最后，模型必须对大量帧中身体姿态的细微变化敏感，以确定分类代码。我们为每个子问题提供了有效的解决方案，这些方案结合起来为整个任务提供了一个高度功能性的解决方案。所提出的技术可以很容易地推广到其他运动记录的视频片段。