利用局部域进行图像到图像翻译

图像到图像 网络难以捕捉局部变化，因为它们不影响全局场景结构。例如，在将高速公路场景翻译为越野场景时，i2i 网络很容易关注全局颜色特征，却忽略了人类显而易见的特征，如车道线的缺失。在本文中，我们利用了人类关于空间域特征的知识（我们称之为“局部域”），并展示了其对图像到图像翻译的益处。依靠简单的几何指导，我们在少量源数据上训练基于补丁的 GAN，并幻化出一个新的未见域，从而简化了向目标的迁移学习。我们在从非结构化环境到恶劣天气的三个任务上进行了实验。我们全面的评估设置表明，我们能够以最少的先验生成逼真的翻译，并且仅在少数图像上进行训练。此外，当在我们的翻译图像上训练时，我们表明所有测试的代理任务都得到了显著改善，而在训练时从未见过目标域。