面向复杂环境的多无人机多视角数据集与深度学习框架用于行人检测与跟踪
摘要
多无人机监控系统提供了增强的覆盖范围和鲁棒性，用于行人跟踪，但现有方法在动态相机位置和复杂遮挡方面存在挑战。本文引入了 MATRIX（Multi-Aerial TRacking In compleX environments），一个包含来自八架无人机的同步录像的综合数据集，以及用于多视角检测和跟踪的 novel 深度学习框架。与依赖静态相机或有限无人机覆盖的现有数据集不同，MATRIX 提供了一个具有 40 名行人和显著建筑遮挡的城市环境中具有挑战性的情景。我们的框架通过实时相机标定、基于特征的图像配准和鸟瞰视角（BEV）表示中的多视角特征融合，针对动态无人机监控的独特挑战做出了应对。实验结果表明，静态相机方法在简化的 MATRIX 环境中（无遮挡、仅 10 名行人和较小观测区域）可保持超过 90% 的检测和跟踪精度和准确度指标，但在复杂环境中性能显著下降。我们提出的方法在面临挑战条件下仍能保持稳健性能，实现约 90% 的检测和跟踪准确度，并成功跟踪约 80% 的轨迹。迁移学习实验表明，预训练模型相较于从头训练模型在检测和跟踪准确度方面表现显著更高。此外，系统性的相机丢弃实验揭示了在实际部署时因相机故障可能出现的优雅性能降级，显示出实用鲁棒性。MATRIX 数据集和框架为推动动态多视角监控系统的发展提供了必需的基准。
引用
@article{arxiv.2511.08615,
title = {A Multi-Drone Multi-View Dataset and Deep Learning Framework for Pedestrian Detection and Tracking},
author = {Kosta Dakic and Kanchana Thilakarathna and Rodrigo N. Calheiros and Teng Joon Lim},
journal= {arXiv preprint arXiv:2511.08615},
year = {2025}
}
备注
Introduction of the MATRIX Dataset, featuring synchronized footage from eight drones in an urban environment with comprehensive annotations for detection and tracking, available at https://github.com/KostaDakic/MATRIX/tree/main