基于 Transformer 的 RGB-T 多模态人群计数
计算机视觉与模式识别
2023-01-10 v1
摘要
人群计数旨在估计场景中的人数。大多数基于彩色图像的最先进人群计数方法由于物体不可见，在光照不良条件下无法良好工作。随着红外摄像头的广泛使用，基于彩色与热成像图像的人群计数得到研究。现有方法仅实现多模态融合而缺乏计数目标约束。为更好地挖掘多模态信息，我们使用计数引导的多模态融合与模态引导的计数增强以获得令人印象深刻的性能。所提出的计数引导多模态融合模块利用多尺度 token transformer 在计数信息引导下交互双模态信息并从 token 视角感知不同尺度。所提出的模态引导计数增强模块采用多尺度可变形 transformer 解码器结构，通过另一模态增强某一模态特征与计数信息。在公开 RGBT-CC 数据集上的实验表明，我们的方法刷新了 SOTA 结果。https://github.com/liuzywen/RGBTCC
引用
@article{arxiv.2301.03033,
title = {RGB-T Multi-Modal Crowd Counting Based on Transformer},
author = {Zhengyi Liu and Wei Wu and Yacheng Tan and Guanghui Zhang},
journal= {arXiv preprint arXiv:2301.03033},
year = {2023}
}