通过经纪模态的多模态人群计数
计算机视觉与模式识别
2024-07-11 v1
摘要
多模态人群计数涉及从视觉和热力/深度图像中估计人群密度。由于这些不同模态之间的差异显著，这一任务具有挑战性。本文提出一种新方法，通过引入辅助经纪模态（broker modality），将该任务建模为三模态学习问题。我们设计了一种基于融合的方法生成该经纪模态，利用现代去噪扩散基于融合模型的轻量级非扩散版本。此外，我们识别并解决了直接跨模态图像融合在多模态人群计数中导致的幽灵效应。通过对流行的多模态人群计数数据集进行广泛实验评估，我们展示了该方法的有效性，仅引入400万额外参数，却取得了令人满意的结果。代码地址：https://github.com/HenryCilence/Broker-Modality-Crowd-Counting。
引用
@article{arxiv.2407.07518,
title = {Multi-modal Crowd Counting via a Broker Modality},
author = {Haoliang Meng and Xiaopeng Hong and Chenhao Wang and Miao Shang and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2407.07518},
year = {2024}
}
备注
This is the preprint version of the paper and supplemental material to appear in ECCV 2024. Please cite the final published version. Code is available at https://github.com/HenryCilence/Broker-Modality-Crowd-Counting