基于动态组合与交互的群体活动识别
计算机视觉与模式识别
2023-05-10 v1
摘要
以往的群体活动识别方法仅限于利用人物关系或寻找重要子群体进行推理，往往忽略了不可或缺的人群组合与人-物交互。这种缺失导致对场景的局部解读，并增加了无关动作对结果的干扰。因此，我们提出了带有动态组合模块（DcM）和动态交互模块（DiM）的 DynamicFormer，分别用于建模人物的关系与位置，并区分参与者的贡献。我们在群体组合与人-物交互上的发现启发了核心思想。群体组合告诉我们群体内人员的位置及其关系，而交互反映了群体外人与物的关系。我们在 DcM 中利用空间和时间编码器建模动态组合，并构建 DiM 通过一种新颖的 GCN 探索交互，该 GCN 内部含有一个 transformer 以考虑人/物的时序邻域。此外，采用多级动态整合来融合来自不同层级的特征。我们在两个公开数据集上进行了大量实验，结果表明我们的方法达到了最先进水平。
引用
@article{arxiv.2305.05583,
title = {Group Activity Recognition via Dynamic Composition and Interaction},
author = {Youliang Zhang and Zhuo Zhou and Wenxuan Liu and Danni Xu and Zheng Wang},
journal= {arXiv preprint arXiv:2305.05583},
year = {2023}
}
备注
13 pages, 6 figures