UAMD-Net：一种用于稠密深度补全的统一自适应多模态神经网络
计算机视觉与模式识别
2023-03-14 v1 人工智能
摘要
深度预测是机器人应用尤其是自动驾驶中的关键问题。通常，基于双目立体匹配的深度预测以及单目图像与激光点云融合是两种主流方法。然而，前者在构建代价体时通常存在过拟合，后者因缺乏几何约束而泛化能力有限。为解决这些问题，我们提出一种新颖的多模态神经网络，即 UAMD-Net，用于基于双目立体匹配与来自稀疏点云的弱约束融合的稠密深度补全。具体而言，稀疏点云被转换为稀疏深度图并与双目图像一同送入多模态特征编码器（MFE），构建跨模态代价体。随后，其将由多模态特征聚合器（MFA）与深度回归层进一步处理。此外，现有多模态方法忽视了模态依赖问题，即某一模态输入出现问题时网络将无法工作。因此，我们提出一种称为模态丢弃（Modal-dropout）的新训练策略，使网络能够以多模态输入自适应训练并以特定模态输入推理。得益于灵活的网络结构与自适应训练方法，我们所提网络可在各种模态输入条件下实现统一训练。在 KITTI 深度补全基准上的综合实验表明，我们的方法产生鲁棒结果并优于其他最先进方法。
引用
@article{arxiv.2204.07791,
title = {UAMD-Net: A Unified Adaptive Multimodal Neural Network for Dense Depth Completion},
author = {Guancheng Chen and Junli Lin and Huabiao Qin},
journal= {arXiv preprint arXiv:2204.07791},
year = {2023}
}
备注
11 pages, 4 figures