通过向潜在分割空间注入噪声提升语义分割CycleGAN的性能
计算机视觉与模式识别
2022-01-19 v1 图像与视频处理
摘要
近年来，语义分割受益于计算机视觉领域的诸多工作。受极具通用性的CycleGAN架构启发，我们将语义分割与循环一致性概念结合，以实现多任务训练协议。然而，学习在很大程度上被所谓的隐写效应阻碍，该效应在潜在分割域中表现为水印，使图像重建变得过于容易。为应对此问题，我们提出基于量化噪声或高斯噪声添加的噪声注入，以避免循环架构中这种不利的信息流动。我们发现噪声注入显著减少了水印的生成，从而能够识别如“交通标志”等高度相关的类别，而ERFNet基线很难检测到它们。我们报告了在Cityscapes数据集上分别针对语义分割和图像重建的mIoU和PSNR结果。所提方法在Cityscapes验证集上相较无噪声注入的同一CycleGAN实现了5.7%的绝对mIoU提升，且仍比非循环的ERFNet基线绝对高出4.9%。
引用
@article{arxiv.2201.06415,
title = {Improving Performance of Semantic Segmentation CycleGANs by Noise Injection into the Latent Segmentation Space},
author = {Jonas Löhdefink and Tim Fingscheidt},
journal= {arXiv preprint arXiv:2201.06415},
year = {2022}
}