用于体育视频中标签高效精确事件定位的时间特征蒸馏

精确事件定位（PES）需要区分视觉上相似但语义上不同的相邻帧，这使其从根本上不同于图像分类和粗粒度动作识别。尽管像DINO这样的自蒸馏方法在图像中显示出强大的表示学习能力，但我们发现直接将它们应用于PES是无效的：在没有监督指导的情况下，微妙但关键的运动线索常常被作为噪声抑制，导致表示对精确事件边界不敏感。为了解决这个问题，我们提出了时间特征蒸馏，一种半监督目标，它对齐时间信息丰富的骨干网络特征，而不是投影头输出，以保留对运动敏感和边界感知的线索用于帧级定位。带有斜坡上升调度的监督预热通过确保在有意义的事件线索在无标签蒸馏开始前被学习，进一步稳定了训练。我们还引入了Transformer门控移位，一种多尺度门控移位模块，将运动感知的时间信息注入视觉Transformer。在四个细粒度体育基准上的实验表明，与全监督和半监督基线相比，性能持续提升。在FSPerf上使用10%的监督，我们的方法比最强的竞争方法mAP提高了4.54个百分点，并且仅使用80%的标记数据，在四个数据集中的两个上达到或超过了100%全监督基线的性能。