RACANet：用于 RGB-T 人群计数的可靠性感知人群锚点网络
计算机视觉与模式识别
2026-04-28 v1
摘要
RGB-热红外（T）人群计数旨在整合可见光谱和热红外信息，以提高复杂场景下人群密度估计的鲁棒性。尽管现有研究通常通过跨模态特征融合提高计数精度，但当前大多数方法依赖隐式跨模态融合策略，缺乏对局部空间差异的显式建模以及位置级模态可靠性的细粒度表征，从而限制了融合过程的准确性和可解释性。为了解决这些问题，本文提出了一种两阶段融合框架 RACANet，即用于 RGB-T 人群计数的可靠性感知人群锚点网络。首先，我们引入了轻量级的跨模态对齐预训练阶段，通过人群先验监督和局部双向软匹配显式学习跨模态语义对应关系。然后，基于预训练期间学习到的先验，在正式训练阶段引入局部锚点融合模块（LAFM）。该模块通过聚合高可靠区域的特征生成局部语义锚点，并进一步利用局部注意力机制实现自适应的像素级特征重分配。此外，我们提出了一种差异感知一致性约束，以动态协调模态表示一致区域的可靠性。在两个广泛使用的基准数据集 RGBT-CC 和 Drone-RGBT 上进行的实验表明，RACANet 优于现有方法。匿名代码可在 https://anonymous.4open.science/r/RACANet-9985 获取。
关键词
引用
@article{arxiv.2604.24543,
title = {RACANet: Reliability-Aware Crowd Anchor Network for RGB-T Crowd Counting},
author = {Jinghao Shi and Mengqi Lei and Kunliang He and Yun Li and Wei Bao and Siqi Li},
journal= {arXiv preprint arXiv:2604.24543},
year = {2026}
}