ProcessPainter：从序列数据学习绘画过程
计算机视觉与模式识别
2024-07-23 v2 人工智能
摘要
艺术家的绘画过程是逐步进行的，且在不同画手和风格之间存在显著差异。生成详细的、逐步的绘画过程对于艺术教育和研究至关重要，但目前仍在很大程度上未被探索。传统的基于笔触的渲染方法将图像分解为笔刷笔触的序列，却不足以复制艺术家的真实绘画过程，局限于基本的笔刷修改。利用扩散过程生成图像的文本到图像模型也大与艺术家的绘画过程。为此，我们引入 ProcessPainter，一种初始在合成数据上预训练、随后使用 LoRA 模型在精选画手绘画序列上微调的文本到视频模型。该方法首次成功生成来自文本提示的绘画过程。此外，我们引入了一种艺术品复制网络，能够接受任意帧输入，从而实现对绘画过程的受控生成、图像分解为绘画序列以及完成半成品艺术品的功能。本文为推动艺术教育和图像生成技术提供了新的视角和工具。
引用
@article{arxiv.2406.06062,
title = {ProcessPainter: Learn Painting Process from Sequence Data},
author = {Yiren Song and Shijie Huang and Chen Yao and Xiaojun Ye and Hai Ci and Jiaming Liu and Yuxuan Zhang and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2406.06062},
year = {2024}
}