面向工业环境的 AI 驱动的沉浸式任务执行辅助

许多工业领域依赖经过严格培训的员工，能够操作复杂 machinery。在本工作中，我们展示了一个 AI 驱动的沉浸式辅助系统，支持用户在工业环境中执行复杂任务。具体而言，我们的系统利用贴近实际的果汁混合机 setup 的 VR 环境。这种对物理 setup 的数字孪生体模拟了用于混合制剂或液体（例如，类似于制药行业）的复杂工业 machinery，包括各种容器、传感器、泵和流控制器。该 setup 在受控环境中演示了我们的系统功能，同时作为更广泛工业应用的概念验证。我们的多模态 AI 助手的核心组件包括大语言模型和语音识别模型，用于处理来自 VR 环境中执行任务的专家的视频和音频录制。从专家视频中提取的视频和语音输入使其能够为支持用户执行复杂任务提供逐步指导。该演示展示了我们的 AI 驱动助手在工业环境中降低认知负荷、提高生产力和提升安全性的潜力。