SAVCHOI：利用带人机交互的密集视频描述检测可疑活动
计算机视觉与模式识别
2022-10-25 v2 人工智能
摘要
在监控视频中检测可疑活动是实时 surveillance 中一个长期存在的问题，并导致犯罪检测困难。因此，我们提出了一种用于检测和摘要监控视频中可疑活动的新方法。我们也为 UCF-Crime 视频数据集创建了真值摘要。我们通过利用双模态 Transformer（Bi-Modal Transformer）中视觉特征的人机交互（Human-Object Interaction, HOI）模型，修改了已有方法以用于此任务。此外，我们在 ActivityNet Captions 数据集上针对密集视频描述（Dense Video Captioning）任务的现有最优算法验证了我们的方法。我们观察到，该密集描述公式在 BLEU@1、BLEU@2、BLEU@3、BLEU@4 和 METEOR 上显著优于其他所讨论的基于 BMT 的方法。我们进一步对数据集和模型进行 comparative 分析，基于不同 NMS 阈值（使用遗传算法搜索）报告发现。此处，我们的公式在 BLEU@1、BLEU@2、BLEU@3 上优于所有模型，在 BLEU@4 和 METEOR 上优于大多数模型，仅分别落后 ADV-INF Global 25% 和 0.5%。
引用
@article{arxiv.2207.11838,
title = {SAVCHOI: Detecting Suspicious Activities using Dense Video Captioning with Human Object Interactions},
author = {Ansh Mittal and Shuvam Ghosal and Rishibha Bansal},
journal= {arXiv preprint arXiv:2207.11838},
year = {2022}
}
备注
14 pages, 6 figures, 6 tables