3DALL-E：将文本到图像 AI 集成到 3D 设计工作流中
人机交互
2023-08-02 v2 人工智能
计算机与社会
机器学习
多媒体
摘要
文本到图像 AI 能够生成新颖图像以提供灵感，但其在 3D 设计工作流中的应用以及设计师如何利用 AI 提供的灵感构建 3D 模型尚未被探索。为此，我们在 CAD 软件中集成了 DALL-E、GPT-3 和 CLIP，构建了 3DALL-E 插件，可为 3D 设计生成 2D 图像灵感。3DALL-E 允许用户根据正在建模的内容构建文本与图像提示。在一项有 13 名设计师参与的研究中，我们发现设计师在其工作流中看到了 3DALL-E 的巨大潜力，并能够利用文本到图像 AI 生成参考图像、避免设计固着以及启发设计考量。我们详述了在各类 3D 建模任务中观察到的提示模式，并提供了参与者提示复杂度的度量。基于我们的发现，我们讨论了 3DALL-E 如何与现有生成式设计工作流融合，并提出以提示参考书目作为人机设计历史的一种形式。
引用
@article{arxiv.2210.11603,
title = {3DALL-E: Integrating Text-to-Image AI in 3D Design Workflows},
author = {Vivian Liu and Jo Vermeulen and George Fitzmaurice and Justin Matejka},
journal= {arXiv preprint arXiv:2210.11603},
year = {2023}
}