面向工程设计优化的大语言与文本到三维模型
计算与语言
2023-07-06 v1 机器学习
神经与进化计算
摘要
当前生成式 AI 在学习大型神经网络模型方面取得进展，能够基于文本提示生成文章、图像、音乐甚至 3D 资产，这为众多学科创造了机会。在本文中，我们研究深度文本到三维模型在工程领域的潜力，重点关注在计算仿真驱动的设计优化中集成并与三维资产交互时的机遇与挑战。不同于传统三维几何设计优化常使用数值表示（如车辆气动优化中的 B 样条曲面或变形参数）搜索最优设计，自然语言通过要求对变异算子进行不同解释来挑战优化框架，同时可能简化并激励人机交互。在此，我们提出并实现了一种完全自动化的进化设计优化框架，在车辆气动优化背景下使用 Shap-E（OpenAI 近期发布的文本到三维资产网络）。为在进化优化中表示文本提示，我们评估了（a）基于提示模板和 Wordnet 样本的词袋方法，以及（b）基于提示模板和来自 GPT4 的字节对编码方法的分词方法。我们优化得到的主要发现表明：首先，确保由提示生成的设计处于应用对象类别内十分重要，即多样且新颖的设计需具备现实性；其次，需更多研究以开发使文本提示变异强度与所得三维设计变异在某种程度上具有因果关系的方法，从而改进优化。
引用
@article{arxiv.2307.01230,
title = {Large Language and Text-to-3D Models for Engineering Design Optimization},
author = {Thiago Rios and Stefan Menzel and Bernhard Sendhoff},
journal= {arXiv preprint arXiv:2307.01230},
year = {2023}
}
备注
9 pages, 13 figures, IEEE conference template