面向多光谱车辆重识别的 flare 感知跨模态增强网络
计算机视觉与模式识别
2023-07-20 v2
摘要
多光谱车辆重识别旨在通过融合互补的可见光与红外信息，解决复杂光照条件下车辆识别的挑战。然而，在恶劣环境中，由于车灯或阳光的强 flare 干扰，RGB 与近红外（NIR）模态中的判别线索常丢失，且现有多模态融合方法恢复这些重要线索的能力有限。为此，我们提出一种 flare 感知跨模态增强网络（FACENet），以 flare 免疫的热红外光谱为引导，自适应地恢复受 flare 损坏的 RGB 与 NIR 特征。首先，为减轻强烈 flare 导致的局部外观退化影响，我们提出互 flare 掩码预测模块，以自监督方式联合获取 RGB 与 NIR 模态中的 flare 损坏掩码。其次，为利用 flare 免疫的热红外（TI）信息增强被掩码的 RGB 与 NIR，我们提出 flare 感知跨模态增强模块，以 TI 光谱中先前的 flare 免疫知识自适应引导被掩码 RGB 与 NIR 光谱的特征提取。第三，为从 RGB 与 NIR 中提取共通的有信息量语义信息，我们提出模态间一致性损失，强制两模态间的语义一致性。最后，为评估所提 FACENet 处理强烈 flare 的能力，我们引入一个新的多光谱车辆重识别数据集 WMVEID863，其具有运动模糊、显著背景变化以及尤其强烈的 flare 退化等额外挑战。在新收集数据集与公开基准多光谱车辆重识别数据集上的综合实验表明，所提 FACENet 优于当前最优方法，尤其在应对强 flare 时。代码与数据集将于该链接发布。
引用
@article{arxiv.2305.13659,
title = {Flare-Aware Cross-modal Enhancement Network for Multi-spectral Vehicle Re-identification},
author = {Aihua Zheng and Zhiqi Ma and Zi Wang and Chenglong Li},
journal= {arXiv preprint arXiv:2305.13659},
year = {2023}
}