面向精准动作标记:通过动态标签分配解决标签中的时间错位
计算机视觉与模式识别
2025-04-02 v1 人工智能
机器学习
摘要
精准动作标记因其前景应用而引起广泛关注。虽然现有方法通过设计精良的模型架构实现了显著性能,但忽视了一种重要挑战:地面实验标签中固有的时序错位。这种错位源于标记为包含事件的帧与实际事件时间不准确对齐,常常是由于人工标注错误或在相邻帧中难以精确识别事件边界所致。为解决此问题,我们提出了一种新颖的动态标签分配策略,允许预测在训练期间相对于地面实验时间有时序偏移,从而确保一致的事件标记。我们将最小费用匹配(minimum-cost matching)在空间域用于目标检测的概念扩展到时序域。通过基于预测动作类别得分和时序偏移计算匹配费用,我们的方法可动态分配标签给最可能的预测,即使这些预测的时间偏离地面实验时间也能实现这一点,从而减轻标签时序错位的负面影响。我们进行了广泛实验,证明该方法在实现最先进性能方面具有卓越成果,尤其是在事件在视觉上明显且标签中存在时序错位的条件下。
引用
@article{arxiv.2504.00149,
title = {Towards Precise Action Spotting: Addressing Temporal Misalignment in Labels with Dynamic Label Assignment},
author = {Masato Tamura},
journal= {arXiv preprint arXiv:2504.00149},
year = {2025}
}