LFS-GAN：终身少样本图像生成

我们首次解决了一项具有挑战性的终身少样本图像生成任务。在此情形下，生成模型仅使用每个任务的少量样本来学习一系列任务。因此，学到的模型同时遭遇灾难性遗忘与过拟合问题。现有关于终身GAN的研究提出了基于调制的方法来防止灾难性遗忘，然而它们需要大量额外参数，且无法从有限数据生成高保真且多样的图像。另一方面，现有少样本GAN在学习多个任务时遭受严重的灾难性遗忘。为缓解这些问题，我们提出一种称为终身少样本GAN（LFS-GAN）的框架，能够在终身少样本图像生成任务中生成高质量且多样的图像。我们提出的框架使用高效的任务特定调制器——可学习因子化张量（LeFT）来学习每个任务。LeFT由于独特的重构技术而具有秩约束且具备丰富的表示能力。此外，我们提出一种新颖的寻模损失，以在低数据环境下提升模型的多样性。大量实验表明，所提出的LFS-GAN可在多个领域中生成高保真且多样的图像，且不存在任何遗忘与模式崩溃，在终身少样本图像生成任务上达到最先进水平。令人惊讶的是，我们发现我们的LFS-GAN在少样本图像生成任务上甚至优于现有少样本GAN。代码已在Github上提供。