ProCST：利用渐进循环风格迁移提升语义分割
计算机视觉与模式识别
2022-08-12 v2 人工智能
机器学习
摘要
使用合成数据训练能够在真实世界数据上取得良好表现的神经网络是一项重要任务，因为它可以减少对昂贵数据标注的需求。然而，合成数据与真实世界数据之间存在域间隙。缩小这一间隙，即域适应，近年来已被广泛研究。通过直接在源(合成)域和目标(真实)域之间执行适应来缩小域间隙具有挑战性。在这项工作中，我们提出了一种新颖的两阶段框架，用于改进图像数据上的域适应技术。在第一阶段，我们渐进式地训练一个多尺度神经网络，以执行从源域到目标域的图像翻译。我们将新变换的数据记为“源在目标中”(SiT)。然后，我们将生成的 SiT 数据作为输入插入到任何标准的无监督域适应(UDA)方法中。该新数据与期望的目标域具有缩小的域间隙，这有助于所应用的 UDA 方法进一步缩小间隙。我们通过与其他领先的 UDA 和图像到图像翻译技术作为 SiT 生成器的比较，强调了我们方法的有效性。此外，我们在两个 UDA 任务(GTA5 到 Cityscapes 和 Synthia 到 Cityscapes)上，通过三种最先进的 UDA 语义分割方法 HRDA、DAFormer 和 ProDA，展示了我们框架的改进。
关键词
引用
@article{arxiv.2204.11891,
title = {ProCST: Boosting Semantic Segmentation Using Progressive Cyclic Style-Transfer},
author = {Shahaf Ettedgui and Shady Abu-Hussein and Raja Giryes},
journal= {arXiv preprint arXiv:2204.11891},
year = {2022}
}
备注
Code available at https://github.com/shahaf1313/ProCST