MagicItem：面向消费级元宇宙平台中基于大语言模型的虚拟对象动态行为设计
人机交互
2024-06-21 v1
摘要
为了在虚拟现实 (VR) 环境中创建丰富的体验，必须通过编程定义虚拟对象的行为。然而，3D 空间的编程需要广泛的背景知识和编程技能。虽然大语言模型 (LLM) 提供了编程支持，但主要面向程序员。在许多用户 inhabit VR 空间的元宇宙平台上，大多数用户不熟悉编程，难以轻松修改 VR 环境中对象的行为。现有的基于 LLM 的 VR 空间脚本生成方法需要多次冗长的迭代才能实现所需行为，且难以集成到元宇宙平台的日常运营中。为解决此问题，我们提出了一种工具，可在 Cluster 这样一个拥有大量用户的元宇宙平台中，通过自然语言为 VR 空间中的对象生成行为。通过将 LLM 与本平台提供的 Cluster Script 集成，我们使拥有有限编程经验的用户能够在平台内自由定义对象的行为。我们还将该工具集成到商业元宇宙平台，并与该平台的 63 名普通用户进行在线实验。实验表明，即使没有编程背景的用户也能成功生成 VR 空间中对象的行为，系统效果令人满意。我们的研究通过使非程序员能够在元宇宙平台中为虚拟对象设计动态行为，推动了 VR 内容创建的民主化。
引用
@article{arxiv.2406.13242,
title = {MagicItem: Dynamic Behavior Design of Virtual Objects with Large Language Models in a Consumer Metaverse Platform},
author = {Ryutaro Kurai and Takefumi Hiraki and Yuichi Hiroi and Yutaro Hirao and Monica Perusquia-Hernandez and Hideaki Uchiyama and Kiyoshi Kiyokawa},
journal= {arXiv preprint arXiv:2406.13242},
year = {2024}
}