STCrowd：一种用于拥挤场景下行人感知的多模态数据集
计算机视觉与模式识别
2022-04-05 v1
摘要
由于旋转、姿态和尺度上的大幅变化，在三维空间中准确检测与跟踪行人具有挑战性。在存在严重遮挡的密集人群中，情况更为严峻。然而，现有基准要么仅提供 2D 标注，要么具有行人分布低密度限制的 3D 标注，难以构建可靠的行人感知系统，尤其在拥挤场景中。为更好地评估拥挤场景下的行人感知算法，我们引入了一个大规模多模态数据集 STCrowd。具体而言，STCrowd 中共有 219 K 个行人实例，平均每帧 20 人，且具有不同等级的遮挡。我们提供同步的 LiDAR 点云与相机图像，以及相应的 3D 标签和联合 ID。STCrowd 可用于多种任务，包括仅 LiDAR、仅图像以及基于传感器融合的行人检测与跟踪。我们为多数任务提供了基线。此外，考虑到行人全局分布稀疏、局部分布密度多变的特性，我们进一步提出一种新方法——密度感知分层热图聚合（DHA），以增强拥挤场景下的行人感知。大量实验表明，我们的新方法在各种数据集上的行人检测均达到了 SOTA 性能。
引用
@article{arxiv.2204.01026,
title = {STCrowd: A Multimodal Dataset for Pedestrian Perception in Crowded Scenes},
author = {Peishan Cong and Xinge Zhu and Feng Qiao and Yiming Ren and Xidong Peng and Yuenan Hou and Lan Xu and Ruigang Yang and Dinesh Manocha and Yuexin Ma},
journal= {arXiv preprint arXiv:2204.01026},
year = {2022}
}
备注
accepted at CVPR2022