MagicCraft:面向商业元宇宙平台的动态交互式三维物体的自然语言驱动生成
人机交互
2025-05-01 v1
摘要
元宇宙平台正在快速发展,为用户交互和内容创作提供沉浸式空间。然而,动态和交互式三维物体的生成仍然具有挑战性,因为需要先进的3D建模和编程技能。为应对这一挑战,我们提出了MagicCraft,一个从自然语言提示为元宇宙平台生成功能性三维物体的系统。MagicCraft使用生成式AI模型管理整个内容创作流水线:将用户文本描述转换为图像,将图像转换为三维模型,预测物体行为,并分配必要的属性和脚本。它还提供了一个交互界面,让用户可以通过调整方向、比例、坐姿位置和握持点等特征来优化生成的物体。在商业元宇宙平台Cluster上实现后,MagicCraft由7位专业CG设计师和51位普通用户进行了评估。结果表明,MagicCraft显著减少了创建三维物体所需的时间和技能。没有3D建模或编程先前经验的用户成功创建了复杂的三维物体并在元宇宙中部署。专家反馈强调了该系统改进内容创作工作流和支持快速原型的潜力。通过将AI生成的内容集成到元宇宙平台中,MagicCraft使三维内容创作更加便捷。
引用
@article{arxiv.2504.21332,
title = {MagicCraft: Natural Language-Driven Generation of Dynamic and Interactive 3D Objects for Commercial Metaverse Platforms},
author = {Ryutaro Kurai and Takefumi Hiraki and Yuichi Hiroi and Yutaro Hirao and Monica Perusquía-Hernández and Hideaki Uchiyama and Kiyoshi Kiyokawa},
journal= {arXiv preprint arXiv:2504.21332},
year = {2025}
}
备注
16 pages. Preprint for submission to IEEE Access