面向合成到真实风格迁移的多目标优化

语义分割网络需要大量像素级标注数据，而这些数据在真实图像中昂贵获取。计算机图形引擎可以生成带有真实标注的合成图像。然而，训练在此类图像上的数据集的模型在真实图像上表现可能较差，由于真实图像与合成图像之间的域间距。风格迁移方法可通过对合成图像应用真实风格来减少这一差异。选择有效的数据转换及其序列困难，由于风格迁移算子的大组合搜索空间。我们使用多目标遗传算法优化管道，以平衡结构一致性和风格相似性以匹配目标域。我们研究在演化过程中对单个图像样本上使用配对图像指标，以实现快速管道评估，不同于需要生成大量图像的标准分布指标。优化后，我们使用分布指标和分割性能评估所得帕累托前沿。我们将此方法应用于合成到真实域适应的标准数据集：从视频游戏GTA5迁移到真实图像数据集Cityscapes和ACDC，聚焦于恶劣条件。结果表明，遗传算法可为不同目标提出多样化的数据增强管道。本工作的贡献在于将风格迁移表述为适合遗传优化的排序问题，并研究了可实现此空间可行搜索的有效指标。源代码可在 https://github.com/echigot/MOOSS 获取。