SkipcrossNets：用于道路检测的自适应跳跃交叉融合
计算机视觉与模式识别
2024-07-19 v2
摘要
多模态融合正日益用于自动驾驶任务，因为不同模态为特征提取提供独特信息。然而，现有双流网络仅在特定网络层融合，需要大量人工尝试来设定。随着 CNN 加深，两种模态特征变得越来越高级与抽象，融合发生在差距较大的特征层级上，容易损害性能。为减少将点云投影至 2D 空间过程中的高度与深度信息损失，我们利用标定参数将点云投影为高度差图像（ADIs），其展现出更明显的道路特征。在本研究中，我们提出一种称为跳跃交叉网络（SkipcrossNets）的新型融合架构，其自适应地结合 ADIs 与相机图像，而不受限于某一融合阶段。具体而言，跳跃交叉融合策略以前馈方式将每一层与每一层连接，且对每一层，所有前层特征图用作输入，其自身特征图用作另一模态所有后续层的输入，从而增强特征传播与多模态特征融合。该策略便于从两模态中选择最相似的特征层，增强特征复用并为稀疏点云特征提供互补效果。通过在 KITTI 与 A2D2 数据集上的应用展示了跳跃交叉融合策略的优势，在 KITTI 上取得 96.85% 的 MaxF 分数，在 A2D2 上取得 84.84% 的 F1 分数。模型参数仅需 2.33 MB 内存，速度为 68.24 FPS，可适用于移动终端与嵌入式设备。
引用
@article{arxiv.2308.12863,
title = {SkipcrossNets: Adaptive Skip-cross Fusion for Road Detection},
author = {Yan Gong and Xinyu Zhang and Hao Liu and Xinmin Jiang and Zhiwei Li and Xin Gao and Lei Lin and Dafeng Jin and Jun Li and Huaping Liu},
journal= {arXiv preprint arXiv:2308.12863},
year = {2024}
}