LLM-to-Phy3D：基于 LLM 的在线物理适配 3D 物体生成
计算机视觉与模式识别
2025-06-16 v1 机器学习
摘要
生成式人工智能 (GenAI) 和大语言模型 (LLM) 的出现 revolutionized 了数字内容在不同模态下的创作landscape。然而，其在 Physical AI 中的潜力尚未被充分探索，即在工程设计中需要物理可行的制品。现有 LLM-to-3D 模型缺乏物理知识，常导致输出脱离现实物理约束。为填补这一差距，我们引入 LLM-to-Phy3D，一种使现有 LLM-to-3D 模型能够在生成过程中产生物理适配 3D 物体的框架。LLM-to-Phy3D 引入一种新颖的在线黑箱优化循环，通过视觉和基于物理的评估赋能大语言模型 (LLM)。通过提供迭代优化中的方向性反馈，LLM-to-Phy3D 主动驱动发现能产生保物理性能更好、几何新颖性更强于参考物体的提示。这是 AI 驱动生成式设计的一个重大贡献。LLM-to-Phy3D 的系统评估结合消除实验显示，various LLM improvements 在生产物理适配目标域 3D 设计方面相较于传统 LLM-to-3D 模型提升了 4.5% 到 106.7%。令人鼓舞的结果表明 LLM-to-Phy3D 在 Physical AI 中具有广泛应用潜力，用于科学和工程应用。
引用
@article{arxiv.2506.11148,
title = {LLM-to-Phy3D: Physically Conform Online 3D Object Generation with LLMs},
author = {Melvin Wong and Yueming Lyu and Thiago Rios and Stefan Menzel and Yew-Soon Ong},
journal= {arXiv preprint arXiv:2506.11148},
year = {2025}
}