基于改进演员关系图的群体活动识别
计算机视觉与模式识别
2023-11-23 v2 多媒体
摘要
视频理解旨在识别并分类视频中出现的不同动作或活动。诸多先前工作（如视频字幕）在生成通用视频理解方面已展现良好性能。然而，利用最先进的视频字幕技术生成人类动作及其交互的细粒度描述仍具挑战。人类动作与群体活动的详细描述是关键信息，可用于实时闭路电视视频监控、医疗健康、体育视频分析等。本研究提出一种视频理解方法，主要通过学习成对演员外观相似度与演员位置来聚焦群体活动识别。我们提出使用归一化互相关(NCC)与绝对差之和(SAD)计算成对外观相似度，并构建演员关系图以令图卷积网络学习如何分类群体活动。我们还提出使用MobileNet作为主干网络从各视频帧提取特征。进一步引入可视化模型，以预测边界框标注各人体对象的方式可视化每个输入视频帧，并预测个体动作与集体活动。
引用
@article{arxiv.2010.12968,
title = {Improved Actor Relation Graph based Group Activity Recognition},
author = {Zijian Kuang and Xinran Tie},
journal= {arXiv preprint arXiv:2010.12968},
year = {2023}
}