通过学习标签不确定性实现弱监督语义分割
计算机视觉与模式识别
2021-10-13 v1
摘要
自深度学习兴起以来，许多计算机视觉任务取得了显著进展。然而，深度学习的弊端在于其极其依赖数据。特别是对于分割问题，训练深度神经网络需要以像素级精确图像标签形式的密集监督，而这代价高昂。在本文中，我们提出一种新的损失函数，仅使用一小部分像素级精确标签来训练分割网络，同时利用以廉价边界框标签形式提供的弱标注训练样本。与近期利用框到掩码提议生成器的工作不同，我们的损失函数在训练网络的同时，训练网络学习边界框内的标签不确定性，该不确定性可用于执行在线自助采样（即把边界框转换为分割掩码）。我们在二值分割任务以及多类分割任务（CityScapes 车辆与行人）上评估了我们的方法。我们在仅由 18% 像素级标签和 82% 边界框标签组成的数据集上训练每个任务，并将结果与在完全像素级数据集上训练的基线模型进行比较。对于二值分割任务，我们的方法取得的 IoU 分数约为基线模型的 98.33%，而对于多类任务，我们的方法为基线模型的 97.12%（77.5 vs. 79.8 mIoU）。
引用
@article{arxiv.2110.05926,
title = {Weakly-Supervised Semantic Segmentation by Learning Label Uncertainty},
author = {Robby Neven and Davy Neven and Bert De Brabandere and Marc Proesmans and Toon Goedemé},
journal= {arXiv preprint arXiv:2110.05926},
year = {2021}
}