基于低分辨率条件的域不可知图像到图像翻译

通常，图像到图像翻译（i2i）方法旨在学习跨域映射，其假设用于翻译的图像共享内容（如姿态）但具有各自的域特定信息（即风格）。以目标图像为条件，此类方法提取目标风格并将其与源图像内容结合，保持域间一致性。在我们的方案中，我们背离这一传统观点，转而考虑目标域由极低分辨率（LR）图像表示的场景，提出一种面向细粒度问题、域间相关时的域不可知 i2i 方法。更具体地，我们的域不可知方法旨在生成将源图像的视觉特征与 LR 目标图像的低频信息（如姿态、颜色）相结合的图像。为此，我们提出一种新方法，其依赖于训练生成模型以生成既共享关联源图像的显著信息、又在降采样时正确匹配 LR 目标图像的图像。我们在 CelebA-HQ 和 AFHQ 数据集上验证了我们的方法，展示了视觉质量方面的提升。定性与定量结果表明，在处理域内图像翻译时，与 StarGAN v2 等最先进（SOTA）方法相比，我们的方法生成了逼真的样本。消融研究还揭示，我们的方法对颜色变化具有鲁棒性，可应用于分布外图像，并允许对最终结果进行手动控制。