Text2Shape：通过学习联合嵌入从自然语言生成形状
计算机视觉与模式识别
2018-03-23 v1 人工智能
图形学
机器学习
摘要
我们提出了一种从自然语言生成彩色 3D 形状的方法。为此，我们首先学习自由格式文本描述与彩色 3D 形状的联合嵌入。我们的模型结合并扩展了关联学习与度量学习方法以学习隐式的跨模态连接，并生成一个联合表示，以捕捉语言与 3D 形状物理属性（如颜色和形状）之间的多对多关系。为了评估我们的方法，我们为 ShapeNet 数据集中的物理 3D 对象收集了一个大型自然语言描述数据集。利用学习到的联合嵌入，我们展示了优于基线方法的文本到形状检索。使用我们的嵌入与新颖的条件 Wasserstein GAN 框架，我们从文本生成了彩色 3D 形状。我们的方法是首个将自然语言文本与在颜色、纹理和形状细节上展现丰富变化的逼真 3D 对象相连接的方法。视频见 https://youtu.be/zraPvRdl13Q
引用
@article{arxiv.1803.08495,
title = {Text2Shape: Generating Shapes from Natural Language by Learning Joint Embeddings},
author = {Kevin Chen and Christopher B. Choy and Manolis Savva and Angel X. Chang and Thomas Funkhouser and Silvio Savarese},
journal= {arXiv preprint arXiv:1803.08495},
year = {2018}
}