基于模态仿真的多模态人群计数
计算机视觉与模式识别
2024-07-30 v1
摘要
多模态人群计数是一种利用多模态线索来估计拥挤场景中人数的关键任务。为克服不同模态之间的差距，我们提出了一种基于模态仿真的两遍多模态人群计数框架，实现高效的模态仿真、对齐与融合。该框架包含两个关键组件：多模态推断遍和跨模态仿真遍。前者利用混合跨模态注意力模块提取全局和局部信息，实现高效的多模态融合。后者采用注意力提示机制协调不同模态，增强多模态对齐。我们还引入一种模态对齐模块，通过高效的模态一致性损失对齐两个模块的输出，以桥接模态之间的语义差距。在RGB-热成像和RGB深度计数数据集上进行的大量实验表明，该方法在性能上优于先前方法。代码已公开：https://github.com/Mr-Monday/Multi-modal-Crowd-Counting-via-Modal-Emulation。
引用
@article{arxiv.2407.19491,
title = {Multi-modal Crowd Counting via Modal Emulation},
author = {Chenhao Wang and Xiaopeng Hong and Zhiheng Ma and Yupeng Wei and Yabin Wang and Xiaopeng Fan},
journal= {arXiv preprint arXiv:2407.19491},
year = {2024}
}
备注
This is the preprint version of the paper to appear in BMVC 2024. Please cite the final published version. Code is available at https://github.com/Mr-Monday/Multi-modal-Crowd-Counting-via-Modal-Emulation