看似魔法：GAN 中的迁移学习以生成新的卡牌插画
计算机视觉与模式识别
2022-05-31 v1 机器学习
摘要
本文中，我们提出 MAGICSTYLEGAN 与 MAGICSTYLEGAN-ADA——二者分别为最先进模型 StyleGan2 与 StyleGan2 ADA 的变体——以实验其在迁移学习至一个颇为不同的领域中的能力：为“万智牌”（Magic: The Gathering）卡牌的庞大宇宙创作新插画。这是一项具有挑战性的任务，尤其由于这些插画中存在的元素多样，如人类、生物、神器与风景——更不用说多年来不同画师所作图像的海量艺术风格。为解决该任务，我们引入了一个名为 MTG 的新数据集，包含来自多样卡牌类型且富含元数据的数千幅插画。所得集合是一个由无数写实与奇幻风格插画组成的数据集。此外，为探究多样性效应，我们还引入了包含特定概念类型的子集，如森林、岛屿、面孔与人类。我们展示更简单的模型（如 DCGANs）在任何设定下均无法学会生成恰当的插画。另一方面，我们使用所有提出的子集训练 MAGICSTYLEGAN 的实例，能够生成高质量插画。我们进行实验以理解 StyleGan2 的预训练特征可如何迁移至目标领域。我们展示在训练良好的模型中，可发现特定噪声向量实例能写实地表征数据集中的真实图像。此外，我们提供定量与定性研究以支持我们的主张，并证明 MAGICSTYLEGAN 是生成万智牌插画的最先进方法。最后，本文强调了关于 GAN 中迁移学习的一些涌现性质，该领域在生成学习研究中仍属某种程度未被充分探索的方向。
引用
@article{arxiv.2205.14442,
title = {Looks Like Magic: Transfer Learning in GANs to Generate New Card Illustrations},
author = {Matheus K. Venturelli and Pedro H. Gomes and Jônatas Wehrmann},
journal= {arXiv preprint arXiv:2205.14442},
year = {2022}
}