空间叙事：基于深度学习从文本生成中国园林图像与三维场景

从诗歌到绘画的一致映射对于传统中国园林的研究与修复至关重要。但一手材料的缺乏给重建工作带来巨大挑战。本文中，我们提出一种基于文本描述使用深度学习方法生成园林绘画的方法。我们的图文对数据集由逾千幅明代园林绘画及其题跋与款识组成。一个潜在文本到图像扩散模型学习从描述性文本到明代园林绘画的映射，随后寄畅园的文本描述引导模型生成新的园林绘画。引导文本与生成图像间的余弦相似度作为生成图像的评判标准。我们的数据集用于通过大语言模型低秩适配（LoRA）微调预训练扩散模型。我们还将生成图像拼接为全景图，并在Unity 3D中创建了自由漫游场景。我们的后训练模型能够基于文本描述生成明代山水画风格的园林图像。生成图像兼容Unity 3D中的三维展示。