开放世界设定下基于单视角跑步视频的跑者重识别

在许多体育项目中，运动员重识别对于自动视频处理与分析至关重要。然而，当前多数关于多视角或单视角体育视频中运动员重识别的研究聚焦于利用标注图像数据集的封闭世界设定下的重识别，而面向自动视频分析的开放世界设定下的运动员重识别尚不成熟。本文中，我们提出一种直接处理单视角视频以应对开放世界设定的跑者重识别系统。在开放世界设定下，我们无法使用标注数据集且必须直接处理视频。所提系统自动将原始视频作为输入以识别跑者，且即使跑者多次离开画面也能进行识别。为实现自动处理，我们首先使用预训练的 YOLOv8 与微调的 EfficientNet 检测视频中的跑者；随后利用 ByteTrack 跟踪跑者并用微调的 YOLOv8 检测其鞋履；最后，我们采用基于门控循环单元自编码器及全局与局部特征混合的无监督方法提取跑者图像特征。为提升跑者重识别精度，我们使用鞋履图像作为局部图像特征以及跑步序列图像的动态特征。我们在一段跑步训练视频数据集上评估了该系统，结果表明所提方法在无监督重识别中比若干最先进模型具有更高识别精度。我们还展示了所提出的局部图像特征与跑步动态特征对跑者重识别的有效性。我们的跑者重识别系统可有助于跑步视频的自动分析。