BalaGAN：基于跨模态迁移的不平衡域间图像翻译
计算机视觉与模式识别
2021-06-08 v2
摘要
最先进的图像到图像翻译方法在不平衡域设置下往往表现不佳，即某一图像域缺乏丰富性与多样性。我们提出了一种专为应对域不平衡问题而设计的新型无监督翻译网络 BalaGAN。我们利用较丰富域的潜在模态，将不平衡双域间的图像到图像翻译问题转化为更近似于风格迁移设置的平衡、多类且条件化的翻译问题。具体而言，我们分析源域并在无任何监督的情况下学习将其分解为一组潜在模式或类别。这为我们留下了包括目标域在内的所有类别对之间大量平衡跨域翻译任务。在推理时，训练好的网络以源图像以及来自某一模式的参考或风格图像作为条件输入，生成在像素级类似于源图像但与该参考图像具有相同模式的图像。我们表明，在数据集内运用模态可提升翻译图像的质量，且 BalaGAN 在图像质量与多样性方面优于无条件和基于风格迁移的图像到图像翻译方法的强基线。
引用
@article{arxiv.2010.02036,
title = {BalaGAN: Image Translation Between Imbalanced Domains via Cross-Modal Transfer},
author = {Or Patashnik and Dov Danon and Hao Zhang and Daniel Cohen-Or},
journal= {arXiv preprint arXiv:2010.02036},
year = {2021}
}