面向少样本细粒度体育动作识别的视频姿态蒸馏

人体姿态是细粒度体育动作理解的有用特征。然而，由于域偏移以及运动模糊和遮挡等因素，姿态估计器在体育视频上运行时往往不可靠。这导致当动作识别等下游任务依赖于姿态时准确率低下。端到端学习绕过了姿态，但需要更多标签才能泛化。我们提出视频姿态蒸馏（VPD），一种用于学习新视频域（如挑战姿态估计的单项运动）特征的弱监督技术。在VPD下，学生网络学习从体育视频的RGB帧中提取鲁棒的姿态特征，使得在姿态被认为可靠时，这些特征与预训练教师姿态检测器的输出相匹配。我们的策略保留了姿态和端到端两方面的优点，利用原始视频帧中的丰富视觉模式，同时学习与目标视频域中运动员姿态和运动一致的特征，以避免过拟合到与运动员运动无关的模式。VPD特征在四个真实世界体育视频数据集上的少样本细粒度动作识别、检索和检测任务中提升了性能，且不需要额外的真实姿态标注。