AnimeDiffusion：基于扩散模型的动漫人脸线稿上色
计算机视觉与模式识别
2023-03-21 v1
摘要
手动为动漫线稿图像上色是一项耗时且繁琐的工作，而这是卡通动画制作流程中的关键环节。基于参考图的线稿上色是一项具有挑战性的任务，依赖于线稿与参考图像之间精确的跨域长程依赖建模。现有学习方法仍将其模型架构的一个关键模块使用生成对抗网络（GANs）。本文提出一种称为 AnimeDiffusion 的新方法，利用扩散模型自动完成动漫人脸线稿上色。据我们所知，这是首个专为动漫内容创作定制的扩散模型。为解决扩散模型训练消耗巨大的问题，我们设计了一种混合训练策略，先以无分类器引导预训练扩散模型，再以图像重建引导微调。我们发现经少量迭代微调，模型即展现出优异的上色性能，如图 1 所示。为训练 AnimeDiffusion，我们构建了一个动漫人脸线稿上色基准数据集，包含 31696 条训练数据与 579 条测试数据。我们希望该数据集能填补无色化方法评估可用高分辨率动漫人脸数据集的空白。通过在我们数据集上的多项量化指标与一项用户研究，我们证明 AnimeDiffusion 优于最先进的基于 GANs 的动漫人脸线稿上色模型。我们还与专业画师合作，将 AnimeDiffusion 测试并应用于他们的创作工作。我们在 https://github.com/xq-meng/AnimeDiffusion 发布了代码。
引用
@article{arxiv.2303.11137,
title = {AnimeDiffusion: Anime Face Line Drawing Colorization via Diffusion Models},
author = {Yu Cao and Xiangqiao Meng and P. Y. Mok and Xueting Liu and Tong-Yee Lee and Ping Li},
journal= {arXiv preprint arXiv:2303.11137},
year = {2023}
}