事件中的人：面向复杂事件中以人为中心视频分析的大规模基准数据集
计算机视觉与模式识别
2023-07-14 v6
摘要
随着现代智慧城市的发展，以人为中心的视频分析正面临在真实场景中分析多样且复杂事件的挑战。复杂事件涉及密集人群、异常个体或集体行为。然而，受限于现有视频数据集的规模与覆盖度，鲜有人体分析方法报道其在此类复杂事件上的性能。为此，我们提出一个名为 Human-in-Events 或 HiEve（复杂事件中以人为中心视频分析）的新型大规模数据集，具备全面标注，用于理解多种真实事件（尤其是人群与复杂事件）中的人体运动、姿态与动作。它包含创纪录数量的姿态（>1M）、复杂事件下最大数量的动作实例（>56k），以及时长最长轨迹数量之一（平均轨迹长度 >480 帧）。基于其多样标注，我们分别提出了动作识别与姿态估计的两个简单基线方法。它们在训练时利用跨标签信息以增强对应视觉任务中的特征学习。实验表明，它们可提升现有动作识别与姿态估计流程的性能。更重要的是，它们证明了 HiEve 中广泛范围的标注可改善各类视频任务。此外，我们进行了大量实验，以近期视频分析方法结合我们的基线方法作为基准评测，表明 HiEve 是一个具有挑战性的以人为中心视频分析数据集。我们期望该数据集能推动以人为中心分析与复杂事件理解的前沿技术发展。数据集可从 http://humaninevents.org 获取。
引用
@article{arxiv.2005.04490,
title = {Human in Events: A Large-Scale Benchmark for Human-centric Video Analysis in Complex Events},
author = {Weiyao Lin and Huabin Liu and Shizhan Liu and Yuxi Li and Rui Qian and Tao Wang and Ning Xu and Hongkai Xiong and Guo-Jun Qi and Nicu Sebe},
journal= {arXiv preprint arXiv:2005.04490},
year = {2023}
}
备注
Dataset for Large-scale Human-centric Video Analysis in Complex Events (http://humaninevents.org), the paper has been published in Int J Comput Vis (2023)