AniFaceDrawing:草图绘制过程中的动漫肖像生成探索
计算机视觉与模式识别
2023-06-14 v1 图形学
摘要
在本文中,我们关注人工智能(AI)如何用于辅助用户创作动漫肖像,即在绘制过程中将粗略草图转换为动漫肖像。输入是一系列不完整的手绘草图,这些草图逐笔逐渐细化,而输出是与输入草图相对应的高质量动漫肖像序列作为引导。尽管近期的 GAN 能够生成高质量图像,但由于条件图像生成中的不适定问题,从完成度低的草图保持生成图像的高质量是一个具有挑战性的问题。即便采用最新的草图到图像(S2I)技术,由于动漫风格往往比写实风格更抽象,仍难以从不完整的粗略草图创建高质量图像。为解决此问题,我们采用 StyleGAN 的潜空间探索并结合两阶段训练策略。我们将手绘草图的输入笔画对应于 StyleGAN 潜结构编码中与边缘信息相关的属性,并将笔画与这些属性之间的匹配称为笔画级解耦。在第一阶段,我们以预训练的 StyleGAN 模型作为教师编码器训练图像编码器。在第二阶段,我们在无任何额外数据(标签)的情况下模拟生成图像的绘制过程,并训练用于不完整渐进草图的草图编码器,以生成与教师编码器中解耦表示特征对齐的高质量肖像图像。我们通过定性和定量评估验证了所提出的渐进式 S2I 系统,并从不完整渐进草图实现了高质量动漫肖像。我们的用户研究证明了其在动漫风格艺术创作辅助中的有效性。
引用
@article{arxiv.2306.07476,
title = {AniFaceDrawing: Anime Portrait Exploration during Your Sketching},
author = {Zhengyu Huang and Haoran Xie and Tsukasa Fukusato and Kazunori Miyata},
journal= {arXiv preprint arXiv:2306.07476},
year = {2023}
}
备注
11 pages, 13 figures. SIGGRAPH 2023 Conference Track. Project webpage: http://www.jaist.ac.jp/~xie/AniFaceDrawing.html