面向人群计数的实时无人机监控统一多任务学习框架
计算机视觉与模式识别
2023-12-21 v1
摘要
本文提出一种新颖的面向人群计数的实时无人机监控统一多任务学习框架（MFCC），其利用图像融合网络架构融合可见光与热红外图像，并利用人群计数网络架构估计密度图。我们框架的目的是融合两种模态，包括无人机实时捕获的可见光与热红外图像，以利用互补信息准确统计密集人群数量，并自动引导无人机飞行以监控密集人群。为此，我们首次提出面向人群计数的统一多任务学习框架，并重新设计统一训练损失函数以对齐图像融合网络与人群计数网络。我们还设计了辅助学习模块（ALM），将密度图特征融合到图像融合编码器过程中以学习计数特征。为提高精度，我们提出基于密集连接架构的广泛上下文提取模块（ECEM）以编码多感受野上下文信息，并应用多域注意力块（MAB）以关注无人机视角下的头部区域。最后，我们利用预测图自动引导无人机监控密集人群。在 DroneRGBT 数据集上的实验结果表明，与现有方法相比，我们的方法在客观评价上结果相当且训练过程更简单。
引用
@article{arxiv.2202.03843,
title = {A Unified Multi-Task Learning Framework of Real-Time Drone Supervision for Crowd Counting},
author = {Siqi Gu and Zhichao Lian},
journal= {arXiv preprint arXiv:2202.03843},
year = {2023}
}