一种基于联合编码模型的多模态融合网络用于车道线分割
计算机视觉与模式识别
2021-03-23 v1
摘要
近期，利用多模态传感器实现鲁棒车道线分割的兴趣日益增长。在本文中，我们从信息论视角引入一种新颖的多模态融合架构，并利用激光探测与测距（LiDAR）相机融合网络展示其实用性。特别地，我们首次将多模态融合网络发展为联合编码模型，其中每个单节点、层与流水线均表示为一个信道。因此前向传播等同于信道中的信息传输。进而我们可以定性且定量地分析不同融合方法的效果。我们认为最优融合架构与基于信源与信道的基本容量及其分配有关。为验证该多模态融合假设，我们基于所提融合方法逐步确定一系列多模态模型，并在 KITTI 与 A2D2 数据集上评估它们。我们的最优融合网络取得了 85%+ 的车道线精度与 98.7%+ 的总体精度。各模型间的性能差距将为深度多模态学习界继续研发最优融合算法提供指引。
引用
@article{arxiv.2103.11114,
title = {A novel multimodal fusion network based on a joint coding model for lane line segmentation},
author = {Zhenhong Zou and Xinyu Zhang and Huaping Liu and Zhiwei Li and Amir Hussain and Jun Li},
journal= {arXiv preprint arXiv:2103.11114},
year = {2021}
}