用于唯一球员识别的领域引导掩码自编码器

唯一球员识别是视觉驱动的体育分析中的一个基础模块。从广播视频中识别球员可以辅助各种下游任务，例如球员评估、比赛分析和广播制作。然而，利用深度特征自动检测球衣号码具有挑战性，主要原因是：a) 运动模糊，b) 低分辨率视频流，以及 c) 遮挡。掩码自编码器（MAEs）近期在各种视觉任务中取得成功，已成为传统特征提取器的优越替代方案。然而，大多数 MAE 只是随机地将图像块置零，或者关注于在哪里掩码而不是如何掩码。受人类视觉启发，我们为 MAE 设计了一种新颖的领域引导掩码策略，称为 d-MAE，以在存在运动模糊的情况下促进用于球员识别的鲁棒特征提取。我们进一步引入了一种利用我们新颖的 d-MAE 进行唯一球员识别的时空网络。我们在三个大规模体育数据集上进行了实验，包括一个精心策划的棒球数据集、SoccerNet 数据集和一个内部冰球数据集。我们使用升级后的关键帧识别（KfID）模块预处理数据集，重点关注包含球衣号码的帧。此外，我们提出了一种关键帧融合技术来增强关键帧，保留空间和时间上下文。我们的时空网络展示了显著的改进，在测试集准确率上分别超过了当前 SOTA 8.58%、4.29% 和 1.20%。严格的消融实验突出了我们领域引导掩码方法和改进的 KfID 模块的有效性，与原始架构相比，分别带来了 1.48% 和 1.84% 的性能提升。