弱监督设定下多标签演员-动作关联的发掘
计算机视觉与模式识别
2021-01-22 v1
摘要
由于为时空动作检测收集和标注数据非常昂贵，需要以更少监督来学习的方法。弱监督方法不需要任何边界框标注，且仅能根据指示视频片段中是否发生某动作的标志进行训练。然而，当前方法无法处理视频中多人同时执行多个动作的情形。在这项工作中，我们首次解决这一极具挑战性的任务。我们提出了一个基于多示例与多标签学习的基线。此外，我们提出了一种新方法，使用动作集合作为表示，而非对单个动作类别建模。由于随着动作类别数量增加，计算全集的概率变得难以处理，我们在分配与视频片段标注一致的约束下，为每个检测到的人分配一个动作集合。我们在具有挑战性的 AVA 数据集上评估所提方法，该方法优于 MIML 基线，并与全监督方法具有竞争力。
引用
@article{arxiv.2101.08567,
title = {Discovering Multi-Label Actor-Action Association in a Weakly Supervised Setting},
author = {Sovan Biswas and Juergen Gall},
journal= {arXiv preprint arXiv:2101.08567},
year = {2021}
}
备注
Accepted in ACCV 2020