面向自动驾驶的光流增强语义分割网络
计算机视觉与模式识别
2019-01-23 v1 机器学习
机器学习
摘要
运动是自动驾驶系统中的主导线索。光流通常用于检测运动物体并利用三角测量估计深度。本文的动机是利用已有的稠密光流提升语义分割性能。为提供系统性研究，我们构建了四种不同架构：仅用 RGB、仅用光流、RGBF 拼接以及双流 RGB+光流。我们在 Virtual KITTI 与 Cityscapes 两个自动驾驶数据集上，使用先进的光流估计器 FlowNet v2 评估这些网络。我们还利用 Virtual KITTI 中的真实光流作为理想估计器，并采用标准 Farneback 光流算法研究噪声影响。在 Virtual KITTI 中使用真实光流时，双流架构取得最佳结果，IoU 提升 4%。正如预期，对卡车、厢式车和小汽车等运动物体提升显著，IoU 分别增加 38%、28% 和 6%。FlowNet 使平均 IoU 提升 2.4%，运动物体提升更大，卡车、厢式车和小汽车分别对应 26%、11% 和 5%。在 Cityscapes 中，光流增强使摩托车与火车等运动物体的 IoU 分别提升 17% 和 7%。
引用
@article{arxiv.1901.07355,
title = {Optical Flow augmented Semantic Segmentation networks for Automated Driving},
author = {Hazem Rashed and Senthil Yogamani and Ahmad El-Sallab and Pavel Krizek and Mohamed El-Helw},
journal= {arXiv preprint arXiv:1901.07355},
year = {2019}
}
备注
Accepted for Oral Presentation at VISAPP 2019