语义传感器融合：从相机到稀疏激光雷达信息

为在城市道路上行驶，自动驾驶车辆必须能够感知并识别三维环境中的物体。对周围环境的高层语义理解对于规划并执行精确的驾驶操作是必要的。本文提出一种融合不同传感信息（激光探测与测距（lidar）扫描与相机图像）的方法。卷积神经网络（CNN）的输出被用作分类器以获取环境的标签。标注图像与激光雷达点云之间的语义信息迁移分四步进行：首先，我们使用启发式方法为标注图像中包含的所有语义类别关联概率；然后，鉴于每次激光雷达扫描与相机图像时间戳之间的差异，对激光雷达点进行修正以补偿车辆运动；第三步，我们计算对应相机图像的像素坐标；最后一步，我们将语义信息从启发式概率图像迁移至激光雷达坐标系，同时去除相机不可见的激光雷达信息。我们在Usyd Dataset \cite{usyd_dataset}上测试了该方法，获得的定性与定量结果证明了我们这种概率式传感器融合方法的有效性。