环境声音有帮助：极端条件下的视听人群计数
计算机视觉与模式识别
2020-05-19 v2
摘要
视觉人群计数近来被研究作为一种从图像中对人群场景进行人数统计的方法。尽管成功，基于视觉的人群计数方法在极端条件下可能无法捕获信息性特征，例如在夜间成像和遮挡。在这项工作中，我们引入了一种新颖的视听人群计数任务，其中视觉和听觉信息被整合用于计数目的。我们收集了一个大规模基准，名为 auDiovISual Crowd cOunting（DISCO）数据集，包含 1,935 张图像及相应音频片段，以及 170,270 个标注实例。为了融合两种模态，我们利用一个线性特征级融合模块，对视觉和听觉特征执行仿射变换。最后，我们使用所提出的数据集和方法进行了广泛的实验。实验结果表明，引入听觉信息可在不同光照、噪声和遮挡条件下有益于人群计数。数据集和代码将公开。代码和数据已公开可用。
引用
@article{arxiv.2005.07097,
title = {Ambient Sound Helps: Audiovisual Crowd Counting in Extreme Conditions},
author = {Di Hu and Lichao Mou and Qingzhong Wang and Junyu Gao and Yuansheng Hua and Dejing Dou and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2005.07097},
year = {2020}
}