用于语义分割的预测迁移与正则化
计算机视觉与模式识别
2020-06-12 v1
摘要
语义分割通常需要大量带有像素级标注的图像。鉴于专家标注极为昂贵，近期研究表明，在具有计算机生成标注的照片级真实合成数据（例如计算机游戏）上训练的模型可以迁移到真实图像。尽管取得了这一进展，若不约束在真实图像上的预测，由于严重的域不匹配，模型将轻易过拟合于合成数据。在本文中，我们新颖地利用语义分割的内在属性来缓解此类模型迁移问题。具体而言，我们提出一种预测迁移正则化器（RPT），该正则化器将内在属性作为约束以无监督方式正则化模型迁移。这些约束包括图像生成不同层次上的块级、簇级和上下文级语义预测一致性。由于迁移是无标签且数据驱动的，预测鲁棒性通过选择性地引入图像区域子集进行模型正则化来解决。我们进行了大量实验，以验证 RPT 在将 GTA5 和 SYNTHIA（合成数据）上训练的模型迁移到 Cityscapes 数据集（城市街景）上的有效性。当将约束注入若干用于语义分割的神经网络时，RPT 显示出一致的改进。更显著的是，当将 RPT 集成到基于对抗的分割框架中时，我们报告了迄今最佳结果：从 GTA5/SYNTHIA 迁移到 Cityscapes 时 mIoU 分别为 53.2%/51.7%。
引用
@article{arxiv.2006.06570,
title = {Transferring and Regularizing Prediction for Semantic Segmentation},
author = {Yiheng Zhang and Zhaofan Qiu and Ting Yao and Chong-Wah Ngo and Dong Liu and Tao Mei},
journal= {arXiv preprint arXiv:2006.06570},
year = {2020}
}
备注
CVPR 2020