基于视觉概念知识引导的行动图(VicKAM)用于弱监督团体活动识别

现有弱监督团体活动识别方法依赖目标检测器或注意力机制自动捕获关键区域，但忽略了这些区域相关的语义信息，可能严重影响识别性能。本文提出一种新框架，称为Visual Conceptual Knowledge Guided Action Map(视觉概念知识引导行动图，VicKAM)，有效捕获 individual actions的位置并将其与行动语义集成，用于弱监督团体活动识别。该方法从训练集生成 individual action原型作为视觉概念知识，以桥接行动语义与视觉表征。基于此知识，VicKAM依据图像相关性定理生成指示各位置行动发生概率的行动图。进一步利用与团体活动相关的统计信息增强 individual action图，表征不同团体活动下 individual action的分布，从而建立行动图与特定团体活动之间的联系。增强后的行动图被集成到行动语义表征中用于团体活动识别。在两个公开基准数据集Volleyball和NBA上进行大量实验，表明所提方法有效，即使在训练数据有限的情况下亦能取得佳绩。代码将在后续发布。