面向可穿戴混合现实环境中智能虚拟代理的无缝多模态交互框架设计

本文提出了一种面向可穿戴混合现实环境中智能虚拟代理的多模态交互框架设计，特别适用于博物馆、植物园等类似场所的交互应用。这些场所需要提供富有吸引力且不重复的数字内容，以最大化用户参与度。智能虚拟代理是两种目的的理想模式。框架的前提是通过支持空间映射的混合现实设备提供可穿戴混合现实。我们构想了一个通过整合空间映射、虚拟角色动画、语音识别、注视、领域特定聊天机器人和对象识别等潜在功能来提升虚拟体验和用户与虚拟代理之间交流的无缝交互框架。通过采用模块化方法并将计算密集型模块部署在云平台上，我们实现了资源受限设备上的无缝虚拟体验。人类化的注视和语音交互使其更具互动性。语音内容与身体动画的自动映射使其更加引人入目。在我们的测试中，虚拟代理在用户查询后 2-4 秒内作出响应。该框架的优势在于灵活性和适应性。它可以适配任何支持空间映射的可穿戴混合现实设备。