面向自动驾驶的实时联合目标检测与语义分割网络
计算机视觉与模式识别
2019-01-15 v1 机器学习
机器学习
摘要
卷积神经网络（CNN）已成功应用于多种视觉感知任务，包括边界框目标检测、语义分割、光流、深度估计与视觉SLAM。一般而言，这些任务是被独立探索与建模的。本文提出一种联合多任务网络设计，用于同时学习目标检测与语义分割。主要动机是通过为两项任务共享编码器，在低功耗嵌入式SOC上实现实时性能。我们构建了一种高效架构，采用类ResNet10的小型编码器供两个解码器共享。目标检测使用类YOLO v2的解码器，语义分割使用类FCN8的解码器。我们在两个公开数据集（KITTI、Cityscapes）以及我们的私有鱼眼相机数据集上评估了所提网络，并证明联合网络能提供与独立网络相同的精度。我们进一步优化网络，对1280x384分辨率图像实现30 fps。
引用
@article{arxiv.1901.03912,
title = {Real-time Joint Object Detection and Semantic Segmentation Network for Automated Driving},
author = {Ganesh Sistu and Isabelle Leang and Senthil Yogamani},
journal= {arXiv preprint arXiv:1901.03912},
year = {2019}
}
备注
Presented at NeurIPS 2018 Workshop on Machine Learning on the Phone and other Consumer Devices (MLPCD 2)