从文本语义到图像生成：一种基于 Stable Diffusion 模型的建筑立面设计方法
计算机视觉与模式识别
2023-04-10 v3 人工智能
摘要
Stable Diffusion 模型已广泛应用于建筑图像生成研究，但在生成图像内容的可控性方面仍有提升空间。本文提出一种多网络组合的文生建筑立面图像生成方法。我们首先在 CMP Facades 数据集上使用 LoRA（低秩适配）方法微调 Stable Diffusion 模型，随后应用 ControlNet 模型进一步控制输出。最后，我们对比了不同建筑风格文本内容与控制策略下的立面生成结果。结果表明，LoRA 训练方法显著降低了微调 Stable Diffusion 大模型的成本，而 ControlNet 模型的加入提升了文生建筑立面图像创作的可控性。这为后续建筑图像生成研究奠定了基础。
引用
@article{arxiv.2303.12755,
title = {Text Semantics to Image Generation: A method of building facades design base on Stable Diffusion model},
author = {Haoran Ma},
journal= {arXiv preprint arXiv:2303.12755},
year = {2023}
}
备注
data mistake