基于潜在扩散模型的创造性绘画

艺术绘画在近年取得显著进展。利用自编码器将原始图像连接至压缩潜在空间,并以交叉注意力增强的 U-Net 作为扩散主干,潜在扩散模型(LDMs)已实现稳定且高生成力的图像生成。本文中,我们聚焦于从两个方向增强当前 LDMs 的创造性绘画能力:文本条件扩展与基于 Wikiart 数据集的模型重训练。通过文本条件扩展,用户输入提示被丰富的上下文知识扩充,以更深理解与阐释提示。Wikiart 数据集包含近 400 年来由 1000 多位著名艺术家以丰富风格与流派绘制的 80K 著名艺术品。通过重训练,我们得以请这些艺术家就现代主题绘制新颖且创造性的绘画。与原始模型的直接对比显示,创造力与艺术性均得以丰富。