CLIP-ReIdent：用于球员重识别的对比训练
计算机视觉与模式识别
2023-03-22 v1
摘要
体育分析受益于机器学习的最新进展，为团队或个人提供竞争优势。在此背景下的一项重要任务是个体球员的性能度量，以提供用于后续分析的报告与日志文件。在诸如篮球等体育赛事期间，这涉及在比赛中对球员进行重识别，可来自多相机视角或来自单相机视角在不同时间。本工作中，我们探究是否可能将预训练 CLIP 模型的出色零样本性能迁移至球员重识别领域。为此，我们将 CLIP 的语言到图像的对比预训练方法重构为使用 InfoNCE 损失作为训练目标的图像到图像的对比训练方法。与先前工作不同，我们的方法完全与类别无关，并受益于大规模预训练。通过微调的 CLIP ViT-L/14 模型，我们在 MMSports 2022 球员重识别挑战赛上取得了 98.44% 的 mAP。此外我们表明，CLIP 视觉 Transformer 已具备强大的 OCR 能力，可在无任何数据集微调的情况下以零样本方式识别如球衣号码等有用球员特征。通过应用 Score-CAM 算法，我们可视化了微调模型在计算两名球员图像间相似度得分时所识别的最重要的图像区域。
引用
@article{arxiv.2303.11855,
title = {CLIP-ReIdent: Contrastive Training for Player Re-Identification},
author = {Konrad Habel and Fabian Deuser and Norbert Oswald},
journal= {arXiv preprint arXiv:2303.11855},
year = {2023}
}