利用数字填色增强语义分割模型的鲁棒性
计算机视觉与模式识别
2020-11-11 v1
摘要
对于自动驾驶等安全关键应用，CNN必须对手不可避免的的图像损坏（如图像噪声）具有鲁棒性。先前的工作在全图像分类的背景下解决了鲁棒预测的任务，而我们考虑密集语义分割中的该问题。我们建立在图像分类的一个洞见之上，即输出鲁棒性可通过增加网络对物体形状的偏置来改善。我们提出了一种增加该形状偏置的新训练方案。我们的基本思想是将一部分RGB训练图像与伪造图像进行alpha混合，其中每个类别标签被赋予一个固定的、随机选择的、不太可能出现在真实图像中的颜色。这迫使网络更强地依赖形状线索。我们称这种数据增强技术为“数字填色”（Painting-by-Numbers）。我们展示了我们的训练方案对带有各种网络主干（MobileNet-V2、ResNets和Xception）的DeepLabv3+的有效性，并在Cityscapes数据集上进行了评估。针对我们的16种不同类型的图像损坏和5种不同的网络主干，我们在74%的情况下优于使用干净数据训练。对于比未使用我们训练方案的模型更差的情况，大多仅略微更差。然而，对于某些图像损坏（如带噪声的图像），我们看到了高达25%的显著性能提升。
引用
@article{arxiv.2010.05495,
title = {Increasing the Robustness of Semantic Segmentation Models with Painting-by-Numbers},
author = {Christoph Kamann and Burkhard Güssefeld and Robin Hutmacher and Jan Hendrik Metzen and Carsten Rother},
journal= {arXiv preprint arXiv:2010.05495},
year = {2020}
}