基于弱监督提升语义街景分割的研究
计算机视觉与模式识别
2019-07-17 v2
摘要
训练用于语义分割的卷积网络需要逐像素的真实标签，这非常耗时因而获取成本高昂。因此，在本工作中，我们研究并开发了一种用于语义分割的分层深度网络架构及相应损失，该架构和损失可从弱监督（如边界框或图像级标签）以及强逐像素监督进行训练。我们证明，分层结构以及在强（逐像素）和弱（边界框）标签上的同时训练（即使来自不同数据集）持续提升了相对于仅逐像素训练的性能。此外，我们探索了添加弱图像级标签这一更具挑战性的情况。我们从庞大的 Open Images 数据集中收集街景图像与弱标签以生成 OpenScapes 数据集，并利用这一新数据集提升在两个已确立的逐像素标注数据集 Cityscapes 和 Vistas 上的分割性能。我们报告了在关键街景类别上高达 +13.2% mIoU 的性能增益，以及在 Titan V GPU 上对 Cityscapes 于 512 x 1024 分辨率下 20 fps 的推理速度。我们的网络与 OpenScapes 数据集已与研究界共享。
引用
@article{arxiv.1903.03462,
title = {On Boosting Semantic Street Scene Segmentation with Weak Supervision},
author = {Panagiotis Meletis and Gijs Dubbelman},
journal= {arXiv preprint arXiv:1903.03462},
year = {2019}
}
备注
Oral presentation IEEE IV 2019