用于雾生成的类比图像翻译

图像到图像翻译是将图像从给定\emph{风格}映射到另一给定\emph{风格}。尽管当前方法极为成功，但其假设源域和目标域均可用训练图像，而这在实际中并非总成立。受人类类比推理能力的启发，我们提出类比图像翻译（AIT）。给定源域中两种风格的图像：$\mathcal{A}$ 和 $\mathcal{A}^\prime$，以及目标域中第一种风格的图像 $\mathcal{B}$，学习一个模型将 $\mathcal{B}$ 翻译为目标域中的 $\mathcal{B}^\prime$，使得 $\mathcal{A}:\mathcal{A}^\prime ::\mathcal{B}:\mathcal{B}^\prime$。AIT 尤其适用于这样一种翻译场景：某一风格的训练数据难以获取，但另一域中相同两种风格的训练数据可用。例如，从正常条件到极端、罕见条件的情况，获取后者的真实训练图像具有挑战性，但获取两种情况的合成数据相对容易。本工作中，我们关注向晴天拍摄的图像添加恶劣天气效应，更具体地说是雾效应。为规避收集真实雾图像的挑战，AIT 利用合成晴天图像、合成雾图像和真实晴天图像进行学习，以在真实晴天图像上添加雾效应，且在训练期间未见到任何真实雾图像。AIT 通过结合合成域中的监督训练方案、真实域中的循环一致性策略、两域间的对抗训练方案以及一种新颖的网络设计，实现了这一零样本图像翻译能力。实验显示了我们的方法在零样本图像翻译上的有效性及其对下游任务（如语义雾场景理解）的益处。