MAFNet：一种用于RGB-T人群计数的多注意力融合网络
计算机视觉与模式识别
2022-08-16 v1
摘要
RGB-热成像（RGB-T）人群计数是一项具有挑战性的任务，其利用热成像图像作为RGB图像的补充信息，以应对基于单模态RGB的方法在低光照或相似背景场景中性能下降的问题。大多数现有方法为RGB-T人群计数中的跨模态融合提出了精心设计的结构。然而，这些方法难以编码RGB-T图像对中的跨模态上下文语义信息。鉴于上述问题，我们提出了一种称为多注意力融合网络（MAFNet）的双流RGB-T人群计数网络，旨在基于注意力机制充分捕获来自RGB与热成像模态的长程上下文信息。具体而言，在编码器部分，多注意力融合（MAF）模块被嵌入两个模态特定分支的不同阶段，以在全局层面进行跨模态融合。此外，引入了多模态多尺度聚合（MMA）回归头，以充分利用跨模态的多尺度与上下文信息生成高质量人群密度图。在两个流行数据集上的大量实验表明，所提出的MAFNet对RGB-T人群计数有效，并取得了最先进的性能。
引用
@article{arxiv.2208.06761,
title = {MAFNet: A Multi-Attention Fusion Network for RGB-T Crowd Counting},
author = {Pengyu Chen and Junyu Gao and Yuan Yuan and Qi Wang},
journal= {arXiv preprint arXiv:2208.06761},
year = {2022}
}