面向RGB-Thermal 人群计数的双调制框架：空间调制注意力与自适应融合
计算机视觉与模式识别
2025-09-23 v1
摘要
准确的RGB-Thermal(RGB-T)人群计数对于在挑战性条件下的公共安全至关重要。虽然最近的Transformer方法在捕获全局上下文方面表现出色，但其固有的缺乏空间归纳偏差会导致注意力分布到无关的背景区域，从而损害人群局部化精度。此外，有效地桥接这些不同模态之间的差距仍是一个主要难题。为此，我们提出了双调制框架，包括两个模块：空间调制注意力(SMA)，通过使用可学习的空间衰减掩码来惩罚远距离标记之间的注意力，防止注意力向背景区域扩散；以及自适应融合调制(AF)，其实现动态门控机制以优先选择最可靠的模态进行自适应跨模态融合。大量实验在RGB-T人群计数数据集上表明，我们的方法在前述工作方面表现出色。代码可在https://github.com/Cht2924/RGBT-Crowd-Counting获取。
引用
@article{arxiv.2509.17079,
title = {A Dual-Modulation Framework for RGB-T Crowd Counting via Spatially Modulated Attention and Adaptive Fusion},
author = {Yuhong Feng and Hongtao Chen and Qi Zhang and Jie Chen and Zhaoxi He and Mingzhe Liu and Jianghai Liao},
journal= {arXiv preprint arXiv:2509.17079},
year = {2025}
}
备注
Submitted to ICASSP 2026