WorldCraft：通过 LLM 智能体实现照片实感 3D 世界创建与定制
计算机视觉与模式识别
2025-03-03 v2 人工智能
图形学
摘要
构建照片实感虚拟世界具有广泛应用前景，但传统 3D 建模软件往往需要高度专业的人员才能完成。为 democratize 此过程，我们提出 WorldCraft——一个由大语言模型（LLM）智能体驱动的系统，利用程序化生成技术创建充满物体的室内外场景，用户可通过直观的自然语言指令控制单个物体属性及场景布局。在框架中，协调器智能体管理整体流程，配合两个专门的 LLM 智能体完成场景创建：ForgeIt 通过自我验证机制构建日益完善的手册，实现对单个物体的精确定制；ArrangeIt 则将场景布局问题形式化为分层优化问题，以平衡人体工学与美学考量。此外，管线还集成轨迹控制智能体，允许用户通过自然语言交互对场景进行动画处理并操作摄像机。系统还兼容市售的深度 3D 生成模型，以丰富场景资产。通过评估与基准方法的比较，我们展示了 WorldCraft 的多样性，从单物体定制到复杂且大规模的室内外场景设计。该系统使非专业人士得以实现创意愿景。
引用
@article{arxiv.2502.15601,
title = {WorldCraft: Photo-Realistic 3D World Creation and Customization via LLM Agents},
author = {Xinhang Liu and Chi-Keung Tang and Yu-Wing Tai},
journal= {arXiv preprint arXiv:2502.15601},
year = {2025}
}