基于多任务网络的单目室外语义建图
计算机视觉与模式识别
2019-07-25 v3
摘要
在许多机器人应用中，尤其是自动驾驶，理解周围的语义信息与几何结构都至关重要。语义三维地图作为环境知识的载体，因其能力与用途而被深入研究。然而，从单目图像流生成稠密室外语义地图仍具挑战性。受此目标驱动，本文提出一种从连续单目图像进行大规模三维重建的方法。首先，利用深度与语义预测间底层信息的关联，设计了一种新颖的多任务卷积神经网络（CNN）用于联合预测。给定单张图像，网络通过共享编码器学习低级信息，并分别由含有额外空洞空间金字塔池化（ASPP）层及残差连接的解码器预测，此举有益于视差与语义相互利用。为克服单目深度预测用于重建的不一致性，通过后处理步骤结合超像素化与有效的三维表示方法，得到最终语义地图。实验在语义标注与深度预测上与其他方法进行比较。我们还定性展示了由大规模困难单目图像序列重建的地图，以证明有效性与优越性。
引用
@article{arxiv.1901.05807,
title = {Monocular Outdoor Semantic Mapping with a Multi-task Network},
author = {Yucai Bai and Lei Fan and Ziyu Pan and Long Chen},
journal= {arXiv preprint arXiv:1901.05807},
year = {2019}
}