用于群体活动识别的知识增强关系推理
计算机视觉与模式识别
2023-03-02 v2
摘要
大多数现有的群体活动识别方法仅基于视觉表示来构建时空关系。一些方法引入额外知识（如动作标签）来构建语义关系，并利用它们来优化视觉表示。然而，他们探索的知识仅停留在语义层面，不足以追求显著的准确率。在本文中，我们提出利用知识具象化来进行群体活动识别，并开发了一个新颖的知识增强关系推理框架，该框架能够有效利用具象化知识来改善个体表示。具体而言，该框架由一个用于提取个体外观特征的视觉表示模块、一个探索个体动作语义表示的知识增强语义关系模块，以及一个旨在通过知识整合视觉与语义信息的知识-语义-视觉交互模块组成。得益于这些模块，所提出的框架能够利用知识来增强关系推理过程和个体表示，从而提高群体活动识别的性能。在两个公开数据集上的实验结果表明，与 SOTA 方法相比，所提出的框架取得了具有竞争力的性能。
引用
@article{arxiv.2302.14350,
title = {Knowledge Augmented Relation Inference for Group Activity Recognition},
author = {Xianglong Lang and Zhuming Wang and Zun Li and Meng Tian and Ge Shi and Lifang Wu and Liang Wang},
journal= {arXiv preprint arXiv:2302.14350},
year = {2023}
}