板球视频的细粒度标注

人类活动识别是视频理解的关键问题之一。即使对于仅包含少量动作的特定类别视频（如体育视频），动作识别也具有挑战性。有趣的是，体育视频配有可在网上获取的详细解说，可用于在弱监督设置下执行动作标注。针对板球视频这一具体案例，我们解决了具有语义描述的动作的时间分割与标注挑战。我们的解决方案包括两个阶段。第一阶段，利用从文本解说中提取的场景类别信息将视频分割为“场景”。第二阶段包括将视频镜头以及文本描述中的短语分类为各个类别。然后将相关短语适当地映射到视频镜头。这项工作的新颖之处在于将语义信息分配到视频的精细时间尺度。通过我们的方法，我们能够从数小时视频中检索仅持续几秒的特定动作。该解决方案无需人工努力即可产生大量标注样本，可供机器学习算法用于学习复杂动作。