TransferI2I：基于小数据集的图像到图像翻译迁移学习
计算机视觉与模式识别
2021-05-17 v2
摘要
图像到图像（I2I）翻译近年来已趋于成熟，能够生成高质量的逼真图像。然而，尽管取得了当前的成功，当应用于小领域时仍面临重要挑战。现有方法将迁移学习用于 I2I 翻译，但仍需从头学习数百万参数。这一缺陷严重限制了其在小领域上的应用。本文提出一种新的用于 I2I 翻译的迁移学习（TransferI2I）。我们将学习过程解耦为图像生成步骤与 I2I 翻译步骤。第一步中我们提出两种新技术：源-目标初始化与适配层自初始化。前者在源数据与目标数据上微调预训练生成模型（如 StyleGAN）。后者可在无需任何数据的情况下初始化所有非预训练网络参数。这些技术为 I2I 翻译步骤提供了更好的初始化。此外，我们引入一个辅助 GAN，进一步促进即便从小数据集训练深度 I2I 系统。在三个数据集（动物面孔、鸟类与食物）上的大量实验中，我们表明优于现有方法，且 mFID 在多个数据集上提升超过 25 个点。
引用
@article{arxiv.2105.06219,
title = {TransferI2I: Transfer Learning for Image-to-Image Translation from Small Datasets},
author = {Yaxing Wang and Hector Laria Mantecon and Joost van de Weijer and Laura Lopez-Fuentes and Bogdan Raducanu},
journal= {arXiv preprint arXiv:2105.06219},
year = {2021}
}
备注
Technical report