使用大语言模型诊断机器人系统问题
计算与语言
2024-10-15 v1 人工智能
机器学习
机器人学
摘要
快速解决工业应用中报告的问题至关重要，以最小化经济影响。然而，所需的数据分析使得诊断 underlying root causes（根本原因）具有挑战性且耗时，即使对于专家来说也是如此。相比之下，大语言模型（LLMs）在分析大量数据方面表现出色。事实上，先前的AI-Ops工作已证明了其在分析IT系统方面的有效性。我们将此工作扩展到机器人系统这一具有挑战性且 largely 未探索的领域。为此，我们创建了SYSDIAGBENCH，这是一个用于机器人系统的专有系统诊断基准，包含超过2500个报告的问题。我们利用SYSDIAGBENCH来调查LLMs进行根本原因分析的性能，考虑 various model sizes（模型大小）和 adaptation techniques（适应技术）。我们的结果表明，QLoRA 微调足以让一个7B参数模型在诊断准确性方面超过GPT-4，同时显著更具成本效益。我们通过人类专家研究来验证我们的LLM-as-a-judge结果，发现我们的最佳模型在类似我们参考标签的批准率方面取得了相似的成绩。
引用
@article{arxiv.2410.09084,
title = {Diagnosing Robotics Systems Issues with Large Language Models},
author = {Jordis Emilia Herrmann and Aswath Mandakath Gopinath and Mikael Norrlof and Mark Niklas Müller},
journal= {arXiv preprint arXiv:2410.09084},
year = {2024}
}