CUIfy XR：嵌入 LLM 驱动对话代理的 XR 开源软件包
人机交互
2025-03-04 v3 人工智能
摘要
计算机图形学、机器学习和传感器技术的最新发展为日常生活中的扩展现实（XR）应用提供了众多机会，从技能培训到娱乐。随着大型企业提供价格亲民的消费级头戴式显示器（HMD），XR 很可能变得普及，HMD 将像智能手机和平板电脑一样发展为个人设备。然而，拥有智能空间和自然交互在 XR 中与技术进步同等重要，以便用户在虚拟和增强空间中保持参与度。为此，大语言模型（LLM）驱动的非玩家角色（NPC）结合语音识别（STT）和语音合成（TTS）模型，相比传统的或预编脚本的 NPC，在促进 XR 中更自然的对话式用户界面（CUI）方面具有显著优势。本文为社区提供了一个开源、可定制、可扩展且注重隐私的 Unity 软件包 CUIfy，支持使用广泛使用的 LLM、STT 和 TTS 模型进行基于语音的 NPC-用户交互。我们的软件包还支持每个环境中多个 LLM 驱动的 NPC，并通过流式传输在不同计算模型之间最小化延迟，以实现用户与 NPC 之间的可用交互。我们将源代码发布在以下仓库：https://gitlab.lrz.de/hctl/cuify
引用
@article{arxiv.2411.04671,
title = {CUIfy the XR: An Open-Source Package to Embed LLM-powered Conversational Agents in XR},
author = {Kadir Burak Buldu and Süleyman Özdel and Ka Hei Carrie Lau and Mengdi Wang and Daniel Saad and Sofie Schönborn and Auxane Boch and Enkelejda Kasneci and Efe Bozkir},
journal= {arXiv preprint arXiv:2411.04671},
year = {2025}
}
备注
7th IEEE International Conference on Artificial Intelligence & eXtended and Virtual Reality (IEEE AIxVR 2025)