面向不确定模态的鲁棒行人检测

现有跨模态行人检测（CMPD）方法利用 RGB 与热红外（TIR）模态的互补信息，在 24 小时监视系统中检测行人。RGB 在白天捕获丰富的行人细节，而 TIR 在夜间表现突出。然而，TIR 主要聚焦于人物轮廓，忽略了对于检测至关重要的纹理细节。近红外（NIR）在低光条件下捕获纹理，有效缓解了 RGB 和 TIR 细节丢失的问题，从而减少漏检。为此，我们构建了一个新的三模态 RGB-NIR-TIR（TRNT）数据集，包含 8,281 个像素对齐的图像三元组，为算法研究提供了全面的基础。然而，由于现实场景的可变性，成像设备未必始终能同时捕获所有三种模态，这导致输入数据呈现不可预测的模态组合，从而挑战现有 CMPD 方法在任意输入组合下无法从容地提取鲁棒的行人信息，导致性能显著下降。为此，我们提出了自适应不确定性感知网络（AUNet），准确判别模态可用性，并充分利用可用信息。具体而言，我们引入统一模态验证细化（UMVR），其中包括用于验证模态可用性的不确定性感知路由器和用于确保模态内部信息可靠性的语义细化。此外，我们设计了模态感知交互（MAI）模块，根据 UMVR 输出自适应激活或停用其内部交互机制，实现可用模态间有效互补信息的融合。