基于 Stable Diffusion 与 ControlNet 的 JieHua 画作风格特征提取模型

本研究提出一种 novel 方法，用于提取 Jiehua（借画）的风格特征：利用基于 ControlNet 的微调 Stable Diffusion 模型（FSDMC）来细化来自艺术家 Jiehua 的描绘技法。FSDMC 的训练数据基于从互联网收集的开源 Jiehua 艺术家作品，随后以（原始图像、Canny 边缘特征、文本提示）格式进行人工构建。通过本文确定的最优超参数，观察到 FSDMC 在数据集上实现 FID 为 3.27，并且在专家评估方面超过 CycleGAN。这不仅表明该模型在提取 Jiehua 风格特征方面效果卓越，同时保留了原始预训练语义信息。本研究的发现表明，在合适的超参数下，FSDMC 可提高 Stable Diffusion 模型在传统艺术风格迁移任务中的效果，特别是在 Jiehua 语境中。