中文

WCCNet:用于高效多光谱行人检测的小波-上下文协同网络

计算机视觉与模式识别 2025-12-16 v3

摘要

多光谱行人检测对包括自动驾驶在内的多种任务至关重要,其精度与计算成本均极为重要。大多数现有方法平等对待RGB与红外模态,通常采用两个对称骨干网络进行多模态特征提取,这忽视了模态间的显著差异,并为降低计算成本及有效跨模态融合带来巨大困难。本文提出一种新颖高效框架——小波-上下文协同网络(WCCNet),以低计算成本差异化提取跨光谱互补特征,并基于空间相关的跨模态语义进一步融合这些异构特征。WCCNet 探索了一种非对称但协同的双流骨干,其中利用通用神经层从RGB模态提取纹理丰富特征,同时提出小波专家混合(MoWE)捕获红外模态的互补频率模式。通过评估多光谱环境上下文,MoWE 生成路由分数以选择性激活特定的可学习自适应离散小波变换(ADWT)层,以及共享静态DWT,二者均轻量高效,可显著降低计算开销并促进后续融合。为进一步融合具有显著语义差异的多光谱特征,我们精心设计了跨模态重排融合模块(CMRF),旨在减轻错位并在空间相关的局部区域合并语义互补特征以放大跨模态互补信息。在 KAIST 和 FLIR 基准上的综合评估表明,WCCNet 以可观的计算效率和竞争精度优于 SOTA 方法。

关键词

引用

@article{arxiv.2308.01042,
  title  = {WCCNet: Wavelet-context Cooperative Network for Efficient Multispectral Pedestrian Detection},
  author = {Xingjian Wang and Li Chai and Jiming Chen and Zhiguo Shi},
  journal= {arXiv preprint arXiv:2308.01042},
  year   = {2025}
}

备注

35 pages, 12 figures