PFSD：面向半结构化环境中以行人为焦点的多模态场景数据集
计算机视觉与模式识别
2025-02-27 v3
摘要
近期在自动驾驶感知领域的突破，使我们在以车辆交通为主导的结构化环境中展现了惊人的能力。然而，当前的感知模型在以动态行人及其更为多样化、规则性更差的运动和遮挡为主导的半结构化环境中，仍存在显著局限。我们认为这一不足源于半结构化场景，尤其是行人感知与预测方面，缺乏高质量数据集。本文提出了多模态面向行人聚焦的场景数据集（PFSD），在半结构化场景中进行严格标注，采用 nuScenes 的数据格式。PFSD 提供了包含点云分割、检测以及用于跟踪的对象 ID 的全方位多模态数据标注。该数据集涵盖超过13万个行人实例，覆盖多种场景，包括不同密度、运动模式及遮挡情况。进一步为证明在更加多样化和复杂的半结构化环境中 addressing 挑战的重要性，我们提出了一种新颖的混合多尺度融合网络（HMFN）。该方法通过精心设计的混合框架集成稀疏卷积和普通卷积，有效捕获并融合密集且遮挡场景中行人的多尺度特征。在 PFSD 上进行的大量实验表明，HMFN 在现有方法之上实现了显著提升的平均精度（mAP），从而凸显了其在处理复杂半结构化环境中3D行人检测挑战的有效性。代码与基准测试已公开。
引用
@article{arxiv.2502.15342,
title = {PFSD: A Multi-Modal Pedestrian-Focus Scene Dataset for Rich Tasks in Semi-Structured Environments},
author = {Yueting Liu and Hanshi Wang and Zhengjun Zha and Weiming Hu and Jin Gao},
journal= {arXiv preprint arXiv:2502.15342},
year = {2025}
}