FinePseudo：通过时间对齐性改进伪标签用于半监督细粒度动作识别

动作识别的实际应用往往需要对细微动作进行细粒度理解，例如在体育分析、AR/VR 中的用户交互以及手术视频中。尽管细粒度动作标注成本更高，现有的半监督动作识别主要聚焦于粗粒度动作识别。由于细粒度动作缺乏场景偏差，分类这些动作需要对动作阶段进行理解。因此，现有的粗粒度半监督方法在实际应用中并不有效。本工作首次彻底调查半监督细粒度动作识别（FGAR）。我们观察到，诸如动态时间变形（DTW）等对齐距离为比较细粒度动作提供了合适的动作阶段感知度量，此概念此前在 FGAR 中尚未被利用。然而，由于常规 DTW 距离是两两的且假设两个之间的严格对齐，因此不适用于对细粒度动作进行分类。在有限标签设置下利用此类对齐距离，我们提出了一种基于可对齐性验证的度量学习技术，以有效区分细粒�动作对。我们的可学习对齐性得分提供了更好的阶段感知度量，我们使用它来细化主要视频编码器的伪标签。我们的合作伪标签框架「FinePseudo」在四个细粒度动作识别数据集上显著优于先前方法：Diving48、FineGym99、FineGym288 和 FineDiving，并在现有的粗粒度数据集：Kinetics400 和 Something-SomethingV2 上显示出改进。我们还展示了在开放式半监督设置中处理新未标记类的鲁棒性。项目页面: https://daveishan.github.io/finepsuedo-webpage/。