基于DreamBooth的Stable Diffusion中国山水画生成模型
计算机视觉与模式识别
2024-08-23 v3
摘要
本研究主要介绍了一种结合稳定扩散模型（Stable Diffusion Model, SDM）和参数高效微调方法用于生成中国山水画的方法。该训练过程分别通过将LoRA与预训练SDM结合、以及将DreamBooth与预训练SDM结合来加速。在本文使用的中国山水画互联网数据集上，研究发现结合DreamBooth的SDM表现出优越的性能，优于其他模型，包括通用预训练SDM和基于LoRA微调的SDM。结合DreamBooth的SDM在该数据集上取得了12.75的FID值，并在专家评估中优于所有其他模型，凸显了该模型在中国山水画领域的适用性，具有独特的标识符、高保真度和高质量。本研究说明了专门微调方法在提升SDM在特定领域任务上表现的潜力，特别是在山水画领域。
引用
@article{arxiv.2408.08561,
title = {A New Chinese Landscape Paintings Generation Model based on Stable Diffusion using DreamBooth},
author = {Yujia Gu and Xinyu Fang and Xueyuan Deng and Zihan Peng and Yinan Peng},
journal= {arXiv preprint arXiv:2408.08561},
year = {2024}
}
备注
accepted by AHPCAI