重新设计用于人群计数的多尺度神经网络
计算机视觉与模式识别
2023-07-19 v2
摘要
透视畸变和人群变化使人群计数成为计算机视觉中的一项挑战性任务。为应对该问题，许多已有工作已在深度神经网络（DNNs）中使用多尺度架构。多尺度分支可在 DNNs 中直接合并（例如通过拼接）或通过代理（例如注意力）引导合并。尽管这些方法很普遍，但它们不够精细，难以处理多尺度密度图上逐像素的性能差异。在本工作中，我们通过引入密度专家的分层混合重新设计了多尺度神经网络，该混合分层合并多尺度密度图以用于人群计数。在该分层结构内，提出了一种专家竞争与协作机制以鼓励所有尺度的贡献；引入了逐像素软门控网络，为不同层级中的尺度组合提供逐像素软权重。该网络使用人群密度图和局部计数图进行优化，其中后者通过对前者进行局部积分获得。由于两者潜在冲突，同时优化二者可能存在问题。我们提出了一种基于图像中硬预测局部区域间相对计数差异的新相对局部计数损失，其被证明是对密度图上常规绝对误差损失的补充。实验表明，我们的方法在五个公开数据集（即 ShanghaiTech、UCF_CC_50、JHU-CROWD++、NWPU-Crowd 和 Trancos）上取得了最先进的性能。
引用
@article{arxiv.2208.02894,
title = {Redesigning Multi-Scale Neural Network for Crowd Counting},
author = {Zhipeng Du and Miaojing Shi and Jiankang Deng and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2208.02894},
year = {2023}
}
备注
IEEE Transactions on Image Processing