用于群体活动识别的时空动态推理网络
计算机视觉与模式识别
2021-08-27 v1
摘要
群体活动识别旨在理解一群人所执行的活动。为解决该问题，对复杂的时空交互进行建模是关键。以往方法受限于在预定义图上进行推理，忽略了固有的因人而异的交互上下文。此外，它们采用的推理方案计算代价高且易导致过平滑问题。在本文中，我们旨在通过提出动态推理网络（DIN）来实现时空的因人而异推理，该网络由动态关系（DR）模块和动态游走（DW）模块组成。我们首先提出在初始时空图上初始化交互场。在每个交互场内，我们以联合处理方式应用 DR 预测关系矩阵、应用 DW 预测动态游走偏移，从而形成因人而异的交互图。通过在特定图上更新特征，一个人可以拥有具有局部初始化的全局级交互场。实验表明了两个模块的有效性。此外，在相同设置下，DIN 在两个流行数据集上相比以往 SOTA 方法取得了显著改进，同时推理模块的计算开销大幅降低。
引用
@article{arxiv.2108.11743,
title = {Spatio-Temporal Dynamic Inference Network for Group Activity Recognition},
author = {Hangjie Yuan and Dong Ni and Mang Wang},
journal= {arXiv preprint arXiv:2108.11743},
year = {2021}
}
备注
Accepted to ICCV2021