面向细粒度视频的弱监督时序动作检测与层次化原子动作

动作理解已演进至细粒度时代，因为现实生活中的大多数人类行为仅有微小差异。为以低标注成本的方式准确检测这些细粒度动作，我们首次解决了视频中弱监督细粒度时序动作检测问题。若无精心设计并捕捉细粒度动作间的细微差异，以往面向通用动作检测的弱监督模型在细粒度设定下表现不佳。我们提出将动作建模为可复用原子动作的组合，这些原子动作通过自监督聚类从数据中自动发现，以捕捉细粒度动作的共性与个性。所学得的原子动作由视觉概念表示，并进一步利用语义标签层次结构映射到细粒度与粗粒度动作标签。我们的方法构建了四层视觉表征层次：片段级、原子动作级、细粒度动作类级与粗粒度动作类级，且每一层均有监督。在两个大规模细粒度视频数据集 FineAction 与 FineGym 上的大量实验表明，我们所提出的弱监督模型对细粒度动作检测具有优势，并取得了 SOTA 结果。