基于大语言模型的采煤问答
计算与语言
2024-10-07 v1
摘要
本文提出一种新方法，利用大语言模型（LLM）结合量身定制的提示工程技术进行采煤问答（QA）。采煤是一种复杂且高风险的行业，准确、上下文感知的信息对安全和高效运营至关重要。当前的问答系统难以处理与采矿相关查询的技术性和动态性。为解决这些挑战，我们提出了多轮提示工程框架，旨在引导 LLM（如 GPT-4）更精确和相关地回答采煤问题。通过将复杂查询分解为结构化组件，该方法使 LLM 更有效地处理细致的技术信息。我们手动精选了来自实际矿场景的 500 个问题，分别使用准确率（ACC）和基于 GPT-4 的评分指标对系统性能进行评估。实验将 ChatGPT、Claude2 和 GPT-4 在基线、链式思考（CoT）和多轮提示方法下的表现进行比较，结果显示我们的方法在准确率和上下文相关性方面显著提升，准确率平均提升 15-18%，GPT-4 分数也有显著增加。结果表明，我们的提示工程方法为高风险环境（如采煤）中的领域特定问答提供了稳健且可适应的解决方案。
引用
@article{arxiv.2410.02959,
title = {Coal Mining Question Answering with LLMs},
author = {Antonio Carlos Rivera and Anthony Moore and Steven Robinson},
journal= {arXiv preprint arXiv:2410.02959},
year = {2024}
}