多模态制造安全聊天机器人：知识库设计、基准开发与多种RAG方法的评估
信息检索
2026-02-12 v2 人工智能
计算机与社会
摘要
确保工人安全始终是现代制造环境中的关键挑战。行业5.0将主流制造范式重新定位为更以人为本的操作。本文采用设计科学研究方法法，确定下一代安全培训系统的三个essential要求：高准确率、低延迟和低成本。我们引入了一个由大型语言模型驱动的多模态聊天机器人，以满足这些设计要求。该聊天机器人使用检索增强生成(RAG)方法，以准确化的法规和技术文档为其响应提供依据。为评估我们的解决方案，开发了针对三个代表性机器人的特定领域基准：Bridgeport手动车床、Haas TL-1 CNC铣床和Universal Robots UR5e协作机器人。我们采用全因子设计测试了24种RAG配置，并使用自动化的正确性、延迟和成本评估进行评估。我们将前两种配置分别由十名行业专家和学术研究者进行评估。我们的结果表明，检索策略和模型配置对性能影响显著。该获选配置用于聊天机器人的部署，实现了86.66%的准确率、每次查询平均成本为0.005美元，以及平均端到端延迟为10.04秒。这种延迟在交付完整安全指令方面是实用的，其测量从查询提交到完整指令交付，而不是从生成开始。总体而言，我们的工作提供了三方面的贡献：一个开源且领域支撑的安全培训聊天机器人；用于评估AI辅助安全指令的验证基准；以及为行业5.0环境中AI驱动的指令性和沉浸式安全培训系统的设计与评估的系统方法。
引用
@article{arxiv.2511.11847,
title = {A Multimodal Manufacturing Safety Chatbot: Knowledge Base Design, Benchmark Development, and Evaluation of Multiple RAG Approaches},
author = {Ryan Singh and Austin Hamilton and Amanda White and Michael Wise and Ibrahim Yousif and Arthur Carvalho and Zhe Shan and Reza Abrisham Baf and Mohammad Mayyas and Lora A. Cavuoto and Fadel M. Megahed},
journal= {arXiv preprint arXiv:2511.11847},
year = {2026}
}
备注
25 pages, 5 figures