面向足球转播中动作定位的时间感知特征池化

为实现体育转播自动生成的目标，一项重要任务是理解比赛的高层语义信息。例如，识别并定位比赛的主要动作可使制作人员调整并自动化转播制作，聚焦于比赛的重要细节并最大化观众参与度。本文中，我们聚焦于足球转播中的动作定位分析，其目标是在时间上定位足球比赛中的主要动作。为此，我们提出一种基于NetVLAD、称为NetVLAD++的新型特征池化方法，其嵌入了时间感知知识。与先前将时间上下文视为单一池化集合的池化方法不同，我们将动作发生前与发生后的上下文分开。我们认为，将动作点周围的上下文信息作为单一整体考虑会导致池化模块的次优学习。通过NetVLAD++，我们将过去与未来帧的上下文解耦，并为各子集学习特定的语义词表，从而避免此类词表在时间上混合与模糊。注入该先验知识可创建信息更丰富的池化模块与更具判别力的池化特征，从而更好地理解动作。我们在近期大规模数据集SoccerNet-v2上训练并评估了我们的方法，在动作定位上达到53.4%的Average-mAP，相较当前最先进水平（state-of-the-art）提升+12.7%。