QA-TOOLBOX: 面向制造业流程任务指导的对话式问答
计算与语言
2024-12-04 v1 人工智能
摘要
在这项工作中，我们探索利用LLM进行制造业任务指导系统的数据增强。数据集包含与在先进制造环境中工作的技术人员互动的代表性样本。这项工作的目的是探索任务、对支持的任务进行数据增强以及评估现有LLM的性能。我们观察到该任务很复杂，需要理解来自程序规范文档、按时间顺序排列的动作和对象。数据集包含200,000多个问题/答案对，这些对引用规范文档，并以叙述和/或视频演示为基础。我们通过使用每个LLM建立基线，然后在无参考环境下使用LLM-as-a-judge比较响应，并将评分与群众工作者进行比较，同时与专家验证评分，来比较了几种流行的开源LLM的性能。
引用
@article{arxiv.2412.02638,
title = {QA-TOOLBOX: Conversational Question-Answering for process task guidance in manufacturing},
author = {Ramesh Manuvinakurike and Elizabeth Watkins and Celal Savur and Anthony Rhodes and Sovan Biswas and Gesem Gudino Mejia and Richard Beckwith and Saurav Sahay and Giuseppe Raffa and Lama Nachman},
journal= {arXiv preprint arXiv:2412.02638},
year = {2024}
}