DeepI2I：通过从GANs迁移实现深度分层图像到图像翻译
计算机视觉与模式识别
2020-11-12 v1
摘要
图像到图像翻译近期取得了显著成果。但尽管当前成功，当类间翻译需要大幅形状改变时，其性能较差。我们将此归因于当前最先进图像到图像方法所使用的高分辨率瓶颈。因此，在本工作中，我们提出一种新颖的深度分层图像到图像翻译方法，称为DeepI2I。我们通过利用分层特征来学习模型：（a）浅层中包含的结构信息以及（b）从深层提取的语义信息。为使深度I2I模型能在小数据集上训练，我们提出一种新颖的迁移学习方法，从预训练的GANs迁移知识。具体而言，我们利用预训练GANs（即BigGAN或StyleGAN）的判别器来初始化编码器与判别器，并利用预训练的生成器来初始化我们模型的生成器。应用知识迁移导致编码器与生成器之间的对齐问题。我们引入一个适配网络来解决此问题。在三个数据集（动物脸、鸟类和食物）上的多类图像到图像翻译中，与最先进水平相比我们将mFID降低了至少35%。此外，我们从定性和定量上证明迁移学习显著提升了I2I系统的性能，尤其是对小数据集。最后，我们首次实现了超过100类的领域的I2I翻译。
引用
@article{arxiv.2011.05867,
title = {DeepI2I: Enabling Deep Hierarchical Image-to-Image Translation by Transferring from GANs},
author = {Yaxing Wang and Lu Yu and Joost van de Weijer},
journal= {arXiv preprint arXiv:2011.05867},
year = {2020}
}
备注
NeurIPS2020