基于高级复杂活动标签的时间动作分割

时间动作分割任务对视频进行时间分割并为所有帧预测动作标签。完全监督此类分割模型需要密集的逐帧动作标注，其收集昂贵且繁琐。本工作是首个提出组成动作发现（CAD）框架的工作，该框架仅需要视频级高级复杂活动标签作为时间动作分割的监督。所提方法利用活动分类任务自动发现组成视频动作。具体而言，我们定义有限数量的潜在动作原型以构建视频级双重表征，通过这些表征这些原型在活动分类训练中被集体学习。该设置赋予我们的方法发现跨多个复杂活动潜在共享动作的能力。由于缺乏动作级监督，我们采用匈牙利匹配算法将潜在动作原型与真实语义类别关联以进行评估。我们展示了在高级监督下，匈牙利匹配可从现有的视频和活动级别扩展到全局级别。全局级匹配允许跨活动的动作共享，这是文献中此前从未考虑过的。大量实验表明，我们发现的动作可帮助执行时间动作分割和活动识别任务。