智能家庭 3D:仅从语言描述自动生成 3D 房屋设计
计算机视觉与模式识别
2020-03-03 v1
摘要
房屋设计是一项复杂任务,通常需要建筑师凭借专业技能与工具完成。如果能让人直观地产出房屋平面图而无需了解太多房屋设计知识及使用复杂设计工具的经验(例如通过自然语言),那将十分吸引人。在本文中,我们将其表述为一个语言条件的视觉内容生成问题,并进一步划分为平面图生成与室内纹理(如地面与墙面)合成任务。生成过程的唯一控制信号是用户给出的描述房屋细节的语言表达。为此,我们提出了一种房屋平面图生成模型(HPGM),它首先将语言输入翻译为结构图表示,随后通过图条件布局预测网络(GC LPN)预测房间布局,并利用语言条件纹理 GAN(LCT-GAN)生成室内纹理。经一些后处理,该任务的最终产物是一个 3D 房屋模型。为训练与评估我们的模型,我们构建了首个文本到 3D 房屋模型数据集。
引用
@article{arxiv.2003.00397,
title = {Intelligent Home 3D: Automatic 3D-House Design from Linguistic Descriptions Only},
author = {Qi Chen and Qi Wu and Rui Tang and Yuhan Wang and Shuai Wang and Mingkui Tan},
journal= {arXiv preprint arXiv:2003.00397},
year = {2020}
}
备注
To appear in CVPR2020