利用 LLM 驱动的对话式智能体桥接工业专业知识与扩展现实技术

本文介绍了一种新型的检索增强生成 (RAG) 技术与大型语言模型 (LLM) 集成扩展现实 (XR) 技术的创新性融合，以解决工业环境中知识传递的挑战。该系统通过自然语言界面将领域特定的工业知识嵌入 XR 环境中，实现对工人的无接触、情境感知的专家指导。我们介绍了由 LLM 对话引擎（具备动态工具编排能力）和具备语音驱动交互的 XR 应用程序构成的系统架构。对各种分块策略、嵌入模型和向量数据库进行的性能评估表明，语义分块、平衡型嵌入模型和高效向量存储为工业知识检索提供了最佳性能。该系统的潜力通过在机器人装配、智能基础设施维护和航空航天组件维修等多个工业场景中的早期实现得到验证。结果表明，该系统有望提升培训效率、远程协助能力和操作指导，符合 Industry 5.0 以人为中心和韧性为导向的工业发展方法。