Dual-AI：用于群体活动识别的双路径参与者交互学习
计算机视觉与模式识别
2022-04-07 v2
摘要
学习多个参与者之间的时空关系对于群体活动识别至关重要。不同的群体活动常表现出视频中参与者之间多样化的交互，因此往往难以从时空参与者演化的单一视角对复杂群体活动建模。为应对此问题，我们提出一种独特的双路径参与者交互 (Dual-AI) 框架，其以两种互补的顺序灵活排布空间与时间 transformer，通过整合不同时空路径的优势来增强参与者关系。此外，我们在 Dual-AI 的两条交互路径间引入一种新颖的多尺度参与者对比损失 (MAC-Loss)。借助帧级与视频级的自监督参与者一致性，MAC-Loss 能有效区分个体参与者表征，从而减少不同参与者间的动作混淆。因此，我们的 Dual-AI 可通过融合此类具判别性的不同参与者特征来提升群体活动识别。为评估所提方法，我们在广泛使用的数据集（包括 Volleyball、Collective Activity 和 NBA 数据集）上进行了大量实验。所提 Dual-AI 在所有这些数据集上均取得了最先进的性能。值得注意的是，使用 50% 训练数据的 Dual-AI 优于若干使用 100% 训练数据的最新方法。这证实了 Dual-AI 在群体活动识别中的泛化能力，即便在有限监督的挑战性场景下亦然。
引用
@article{arxiv.2204.02148,
title = {Dual-AI: Dual-path Actor Interaction Learning for Group Activity Recognition},
author = {Mingfei Han and David Junhao Zhang and Yali Wang and Rui Yan and Lina Yao and Xiaojun Chang and Yu Qiao},
journal= {arXiv preprint arXiv:2204.02148},
year = {2022}
}
备注
CVPR 2022 Oral presentation